Дом губернатора был построен в 1780-1792 годах по проекту губернского архитектора П.Т.Бортникова.  Первый этаж здания включил в себя возведенный еще в XVII веке корпус соляных подворий Спасо-Прилуцкого монастыря. Об этом времени напоминают массивные каменные стены. Одним из направлений хозяйственной деятельности монастыря являлись добыча и продажа соли, вот для складирования и последующей продажи соли в 1675-1679 годы и были выстроены специальные каменные помещения.

Со времени учреждения губернии из этого здания осуществлял управление всем Вологодским краем «господин начальник губернии», то есть губернатор. В его руках сосредотачивалась вся административная власть, сюда стекалась вся информация о жизнедеятельности губернии, а сам губернатор нес всю полноту ответственности перед Государем. Здесь же губернатор принимал чиновников и посетителей.

После Февральской революции 1917 года апартаменты вологодских губернаторов были заняты совсем другими людьми, впрочем, также имеющими прямое отношение к «большой» власти: здесь разместился губернский исполнительный комитет Совета рабочих, крестьянских и солдатских депутатов. Вскоре в «дом власти» переехал и Вологодский губком партии большевиков.

Вот каковы были впечатления побывавшего здесь в 1918 году английского журналиста Артура Рэнсома: «Это был белый дом за белыми стенами, с большим подъездом, где, опершись на стол, стоял вразвалку красногвардеец, жуя семечки подсолнуха и довольно грубо спрашивая у людей, по какому делу пришли… Там был тяжелый запах плохого табака. Толпа крестьян ошивалась в коридорах. Два пулемета в комнате на верхнем этаже были существенным свидетельством революции, которая, несмотря на присутствие двух или трех бравых низкорослых матросов с Балтийского флота,… похоже, не потрясла Вологду очень глубоко после того первого легкого низвержения старого режима годом раньше». Его впечатления развивает Филипс Прайс: «Штаб-квартира дисциплины и порядка в Вологде была в старом губернаторском доме. Здесь заседал Совет, по большей части из большевиков, или, как они теперь себя называют, коммунистов, избранный от железнодорожных мастерских, водопроводных сетей, электростанции и местного речного транспорта… Совет – маленький революционный островок в анархическом море крестьянской апатии».

Партийные и советские органы власти занимали помещения дома губернатора до 1920 года, когда они были переведены в другие здания.

Долгое время в бывшем губернаторском доме помещалось отделение городской милиции. В последние годы производится реставрация здания, оно готовится вновь стать резиденцией вологодского губернатора.