Здание Биржи было построено по проекту архитектора Тома де Томона в 1805–1810 годах на месте разобранного в 1804 году незаконченного здания Биржи по проекту Джакомо Кваренги на Стрелке Васильевского острова, где тогда располагался петербургский торговый порт. Прямоугольное здание в стиле ампир, своим объемом напоминающее древнегреческий храм, поставлено на высокий гранитный стилобат и обнесено массивной колоннадой дорического ордера. Фронтоны здания Биржи украшены аллегорическими скульптурными группами с изображениями бога моря Нептуна и бога торговли Меркурия. Также по проекту Тома де Томона перед зданием Биржи на искусственно насыпанном мысе была организована полукруглая площадь, по сторонам которой установлены две Ростральные колонны, в основании которых - скульптуры морских богов из пудостского камня, символизирующие русские реки Неву, Волхов, Волгу и Днепр. В 1913-1914 годах в главном зале Биржи был сооружен железобетонный свод, спроектированный архитекторами М.М. Перетятковичем и Ф.И. Лидвалем.
С 1939 года в здании располагался Центральный военно-морской музей. В начале 2000-х годов Правительство города планировало вернуть зданию его первоначальное назначение и передать его товарно-сырьевой бирже. В 2007 году Комитет Государственного контроля по использованию и охране памятников решил вопрос о переезде музея в здание Крюковых (Морских) казарм, что было осуществлено в 2010 году.
В июне 2011 года здание Биржи было передано из федеральной собственности в городскую. Правительство Санкт-Петербурга предложило два варианта использования исторического здания Биржи: для размещения в нем музея, входящего в состав Государственного Эрмитажа (предложение было сделано М.Б. Пиотровским), или для организации нефтяных торгов. Позднее возник еще один вариант – использовать здание в проекте по переезду Верховного и Высшего арбитражного судов в Петербург. Но в 2013 году от этой идеи, как и от ряда других отказались.
В декабре 2013 году губернатор Санкт-Петербурга Георгий Сергеевич Полтавченко принял окончательное решение о передаче Биржи Государственному Эрмитажу для создания Музея геральдики и наград.