Когда было построено здание — точно не известно. Название дома дано по имени его самых известных владельцев — купцов Горбуновых, занимающихся торговлей овощей. Однако мнение о первых хозяевах расходятся. Краевед Юрий Озеров приводит информацию, что изначально домом владел купец Андрей Иосифович Скорняков, который по купчей передал его Марии Алексеевне Горбуновой, вдове купца Никиты Родионовича Горбунова.
По данным Озерова, Мария Алексеевна скончалась в 1850 году. Однако архитектор Елена Холодова в своей экспертизе указывает, что дом построен ориентировочно в последней четверти XIX века. В 1899 году владелицей дома указана Пелагея Николаевна Горбунова, жившая с семьёй на первом этаже, тогда как второй этаж и флигель сдавался квартирантам.
К 1910 году население дома сменилось — соседями Горбуновых стали уездное Полицейское управление и Правление Курского отдела Российского общества покровителей животных. Вскоре владельцем здания стал Василий Никитич Горбунов — сын упомянутой краеведом Озеровым вдовы, «помощник старшины» и «гласный в думе». С приходом к власти большевиков дом у наследника забрали.
После передачи дома Губкомунотделу, его быстро заселили рабочие и служащие — в 1924 году в нём жило 16 человек. Коммуналкой здание оставалось до 1951 года, когда в нём обосновался радиотрансляционный узел: здесь работали
радиотрансляционный узел, бюро ремонта радиоузла, инспекция электросвязи, проектно-конструкторский отдел и контора снабжения управления связи. В 1990–2000-е годы строение принадлежало Ростелекому.