Дворец был построен по проекту архитекторов С.Чевакинского и Ф.Аргунова в середине XVIII века на участке, пожалованном Петром I своему сподвижнику Борису Петровичу Шереметеву. Его внук, Николай Петрович, организовал здесь театр с труппой крепостных актеров. На эти спектакли съезжались все знатные семейства Санкт-Петербурга. Одна из  крепостных  актрис, Прасковья  Жемчугова (Ковалева), стала супругой  графа Н.П.Шереметева. Дом на Фонтанке связан с романтической и, одновременно, печальной историей их любви.

После революции последний владелец, граф Сергей Дмитриевич Шереметев, вынужден был передать Фонтанный дом государству. С конца XX века дворец находится в ведении Музея театрального и музыкального искусства. В музее частично воссозданы интерьеры XVIII-XIX столетий, организована экспозиция, рассказывающая об истории рода Шереметевых, представлены коллекции картин и предметов декоративно-прикладного искусства, а также огромное собрание уникальных музыкальных инструментов – более 3-х тысяч экспонатов.