У 1833 році в Харків остаточно перебрався з Калуги купецький син Андрій Іванович Расторгуєв  1806 р. н. Він вже декілька років торгував у нашому місті галантерейними товарами від фірми свого батька, на батьківщині йому було «тіснувато», йому захотілось більш вільного життя. Харків йому подобався, він бачив його стрімкий розвиток і відсутність продажу деяких товарів. До 1833 року він побував не тільки на значних ярмарках в імперії, відвідував сусідні країни, для чого вивчав німецьку і французьку і сам вів торгові перемовини з іноземцями.

В Харкові його зарахували до купецтва в 3-ю гільдію, маючи мету він доволі швидко сколотив деякий капітал і очікував свого часу. У 1838 році йому вдалось купити невеличке дворове місце по Університетській вулиці поруч із монастирськими лавками. В перший же рік йому вдалось лише привести до ладу старі лавки в яких він змушений торгувати ще декілька років, збираючи гроші на побудову будинку свої мрії.

Тільки у 1851 році він розпочав масштабне будівництво кам’яного двоповерхового будинку з мансардою і двома підвальними поверхами, якій було закінчено наступного року. Будинок, що знаходився в самому центрі суспільного життя, був безумовно вишуканий свого часу магазин, де продавали прикраси і коштовності, хутра, дорогий посуд і розміщувалося ательє з магазином готової сукні, в сенсі одягу чоловічого і жіночого. Окрім галантерейною торгівлею Андрій Іванович володів ще транспортною конторою, яка доставляла товари у Харків і інші міста губернії.

Свій модний магазин Расторгуєв неодноразово перебудовував, додаючи йому більше колоритних деталей, а поруч зліва та справа добудував кам’яні лавки, на першому поверху йшла торгівля, а другі поверхи здавались в найм під житло заїжджим купцям.

У 1841 році Андрій Расторгуєв оженився на молоденькій дівчинці Ксенії Петрівні 1824 р. н. яка народила йому декілька дітей, на сьогодні нам відомі: Микола 1842 р, н., Ольга 1843 р. н., Іван 1845 р. н., Раїса 1846 р. н., Ганна 1849 р. н., Єлизавета 1852 р. н., Олександра 1856 р. н.   

Андрій Іванович помер у 1877 році, а його нащадки у 1878 році продали дворове місце по Університетській вулиці спадковому почесному громадянину купцю 1-ї гільдії Василю Івановичу Пащенко-Тряпкіну.

Наступного року кам’яний будинок був капітально перероблений за проєктом інженер-капітана Федора Колодяжного, розширено третій поверх, перекладено дах, заново засклено балкон другого поверху.

У 1882 році до існуючих лавок Расторгуєва були прокладені плиткові тротуари для зручності покупців. Розпоряджався всіма спорудами повірений Пащенко-Тряпкіна Московський купець 2-ї гільдії Іван Лаврентійович Ступницький. А наступного року всередині дворового місця для зручності відвідувачів було збудовано прибудову з кам’яними сходами, що ведуть до магазинів.