Заселение верхней части Сумской улицы проходило крайне медленно. За Университетским Садом (нынешний сад им. Т. Шевченко) в 1851–1854 гг. по проекту архитектора Михаила Львова было построено здание Ветеринарного института, который только в 1851 году был выделен из состава Университета как отдельное учебное заведение. Тогда же правая сторона Сумской была продолжена на север за счет покупки земель у потомственного почетного гражданина Михаила Котлярова. Купившие дворовые места губернский секретарь Кузминов, коллежский асессор Зеленский, титулярный советник Гвоздиков, диакон Стефановский, мещанин Ступка и др. оказались в весьма незавидном положении, построив к 1875 году здесь дома, которые дошли до вошедшей в черту города Ветеринарной улицы (первое время считалась Ветеринарным переулком), они проживали в местности где не было фонарного освещения, в недостатке воды (колодцев не было, криницы находились далеко), дороги ещё не были замощены.

Между Сумской и Немецкой улицами были проложены в конце XIX столетия ряд поперечных улиц. Одной из первых появилась Ветеринарная, шедшая от Сумской до Чернышевской и её продолжение до Немецкой – Сомовский переулок, последний вошел в состав Ветеринарной в 1894 году. В 1927 году в память об умершем большевике Андрее Иванове улицу назвали Иванова, а в 2015 году она наименована Свободы, поскольку начинается от площади Свободы. Уместнее было бы дать ей имя харьковского художника Евдокима Волошинова, чей дом по этой улице и сегодня сохранился. Улица была насыщенна особняками: Рейнгарда, Пильстрема, Унковского, Мигриной, Константиновой, Авербуха, Кохановской, Ганина и др. Часть из них пострадали в ходе уличных боёв февраля-марта 1943 года, другие разрушены уже в годы независимой Украины, и лишь часть из них доживает свой век.