В Государственном Эрмитаже отдел «Арсенал» был основан в 1972 году. В его состав вошли обширные оружейные коллекции, находившиеся до того в составе Отдела западноевропейского искусства и Отдела Востока (Отделение мусульманского Востока). Основу этих коллекций составило собрание оружия Собственного Его Императорского Величества Царскосельского Арсенала. В 1885-86 годах оно было перемещено из Царского Села в Императорский Эрмитаж. После революции октября 1917 года оружие было распределено по отделам музея в зависимости от происхождения предметов.
После 1917 года коллекция оружия Эрмитажа пополнилась предметами из национализированных частных собраний. В 1919 году в музей поступили ценнейшие экспонаты из дворцов барона В.Ф. Остен-Сакена и герцога Н.Н. Лейхтенбергского, коллекция князя Ф.И. Паскевича, экспонаты из Музея училища технического рисования барона А.Л. Штиглица. В 1922 году в Государственный Эрмитаж была передана коллекция оружия, седел, знамен и мундиров из арсенала Аничкова дворца. В 1925 поступило около 30 предметов из собрания князей Юсуповых, также личная коллекция известного эксперта оружия И.П. Бачманова. Но самым значительным пополнением эрмитажной коллекции оружия стало поступление в 1930 г. собрания графа С.Д. Шереметева из Фонтанного дома, которое содержало около 1200 предметов. Также коллекция оружия продолжала увеличиваться за счет приобретений от населения и поступлений из других музеев СССР.
В 2010 году отдел «Арсенал» был существенно расширен. В его состав вошли коллекции знамен и знаменных принадлежностей, знаменной иллюстрации и военной графики, ранее относившиеся к Отделу истории русской культуры. Так в отделе образовалось два сектора: Сектор оружия и Сектор военной геральдики.
В дальнейшем в отделе были созданы две новые фондовые коллекции: «Музея гвардии» и геральдических материалов. Коллекция «Музея гвардии» объединяет предметы, связанные с российской военной историей, большая часть которых были вывезены во времена Гражданской войны за границу и бережно сохранены военнослужащими частей Императорской гвардии и их потомками. С недавнего времени Эрмитаж получает эти материалы, хранит их и показывает в экспозиции «Музея гвардии». Коллекция геральдических материалов содержит знаки различия и отличия ведомств Российской Федерации и другие материалы.
В настоящее время в отделе хранится более 90 000 экспонатов.
