Местность, где расположена Ильинская церковь, зовется Горы или Каменье. По преданью, здесь во времена Грозного были сложены большие груды известкового белого камня на пространстве от берега реки до Владимирской церкви. Камень назначался для постройки каменной стены вокруг города. Оставленный без употребления в дело, он мало помалу от собственной тяжести ушел в землю и только по местам виднеется из нее. По застройке площади частными домами много камня было извлечено домовладельцами и употреблено на собственные нужды или продано на известь.