Здание построено во второй половине XVIIIвека, во времена Екатерины II. Первоначально это был купеческий особняк с прекрасным парадным залом на втором этаже. Позднее в нем размещался епархиальный склад церковных вещей. По некоторым сведениям, в 1892 году здесь был дворянский клуб.

В советское время и сейчас здесь находятся военные учреждения.