В 1764-1766 гг. по желанию императрицы Екатерины II рядом с парадной резиденцией - Зимним дворцом - архитектор Ю. М. Фельтен возвел двухэтажный корпус. Черты уходящего барокко и зарождающегося классицизма органично соединились в облике этого здания, в пластичности его архитектурных объемов и изяществе убранства фасада.
Позднее, в 1767-1769 гг., архитектор Жан-Батист Валлен-Деламот построил на берегу Невы павильон с парадным залом, несколькими гостиными и оранжереей для уединенного отдыха императрицы. Здание, оформленное в стиле раннего классицизма, отличается строгими пропорциями, соразмерными архитектурным членениям Зимнего дворца. Ритм колоннады коринфского ордера, украшающей его второй ярус, выразительно подчеркивает художественное единство двух разных по стилю зданий.
Северный и Южный корпуса соединены расположенным на уровне второго этажа Висячим садом, по сторонам которого были устроены галереи. Архитектурный ансамбль получил название Малый Эрмитаж, в соответствии с назначением Северного павильона, где Екатерина II устраивала увеселительные вечера с играми и спектаклями - "малые эрмитажи". Художественные коллекции, размещенные в продольных галереях, положили начало собраниям императорского музея.
В великолепном Павильонном зале находятся часы Павлин. В галереях здания расположены экспозиции живописи и прикладного искусства Западной Европы.