От соляных магазинов на Театральной площади к Шванской улице проходила параллельно Сумской небольшая улица наименованная в 1804 году Шерстобойной.

В 1840-е годы она стала называться Мало-Немецкой. В это время на улице было всего шесть дворовых мест, ещё одно принадлежало городу и на нем располагались торговые лавки. На 1874 год здесь были усадьбы: купца Семёна Михайловича Акименко, жены коллежского асессора Юлии Петровны Полтавцевой, жены купца Елизаветы Захаровны Порайзовой, коллежского асессора Михаила Владимировича Брайловского и дворянина Алексея Янковича, ещё одно дворовое место было пустопорожним - позднее оно принадлежало жене лекаря Марье Виссарионовне Кононенковой. 

На 1890 год: № 1- провизора Е. Ф. Лертцера; № 2 - коллежского асессора Г. К. Риттера; № 3 - Потомственных почетных граждан Гладковых; № 4 - купца Семена Михайловича Акименко; № 5 (сквозное на Сумскую улицу) - жене купца Е. Н. Лысиковой; № 6 - дворянки Ю. Полтавцевой; № 7 - наследников Михаила Брайловского; №  8 - наследников Поеразовых; № 9 - купца Л. Я. Рубинштейна; № 10 - потомственной гражданке М. П. Выходцевой. 

15 сентября 1894 года улица получила имя Донец-Захаржевского в память о последнем представителе этого рода действительном статском советнике Дмитрии Андреевиче Донец-Захаржевском.

На 1914 год домовладельцы:

№ 1 - купец Куликов Александр Иванович

№ 2 - кандидат прав Немировский Александр Яковлевич

№ 3 - Гладкова Ольга Семёновна

№ 4 - вдова потомственного почетного гражданина Акименко Александра Максимовна

№ 5 - поручик запаса Фрейман Исаак Исидорович, наследники

№ 6 - зубной врач Зильберберг Альберт Моисеевич и надворный советник Зильберберг Иосиф Моисеевич

№ 7 - дворянин Куликов Борис Павлович

№ 8 - жена купца Коваленкова София Николаевна

№ 9 - кандидат прав Рубинштейн Лев Яковлевич

№ 10 - вдова коллежского советника Гутоб Александра Николаевна

20 сентября 1936 года улица получила имя переулок Фрунзе, правда с перерывом на оккупацию 1941-1943 гг. А в 1954 году вновь стала улицей Донец-Захаржевского.