Одновременно со строительством Знаменского собора рядом с ним по проекту архитектора Г.В. Гаврилова строился двухэтажный архиерейский дом, в который составной частью вошел фрагмент старого здания 17-го века, принадлежавший архимандриту мужского Богородицкого Знаменского монастыря, о чем свидетельствует древняя комната со сводами, находящаяся на первом этаже. Кроме помещений для архиерея в новом доме находились комнаты для певчих, монашеской братии и прислуги.
В середине XIX века весь верхний этаж красивого каменною здания с ампирной колоннадой и портиком на западном фасаде был занят помещениями архиепископа, а нижний этаж предоставлен наместнику монастыря, монастырскому правлению и канцелярии Преосвященного.
В период с 1850 по 1853 год между собором и архиерейским домом была сооружена обширная пристройка, на втором этаже которой в большом высоком зале разместилась домашняя Крестовая церковь во имя трех святителей: Василия Великого, Григория Богослова и Иоанна Златоуста. На первом этаже пристройки были устроены кельи. В конце XIX века в этом здании побывал известный церковный деятель Иоанн Кронштадтский.
После революции здание использовалось под общежитие для делегатов губернских съездов, потом под казармы войск ГПУ.
В 1927 году сюда переехал нынешний областной краеведческий музей после многих переездов из одного здания в другое. Он возник как историко-археологический и кустарный музеи в память посещения города Курска императором Николаем II в 1902 г. Музей был торжественно открыт 18 января 1905 года для горожан и приезжих. В пятом выпуске "Курского сборника" губернского статистического комитета, изданного в 1907 году, приведена подробная перепись первых его экспонатов. Это церковная утварь, живописные картины, фотоснимки проведения больших военных маневров под Курском в 1902 году в присутствии императора Николая II, предметы домашнего обихода, местные кустарные изделия, множество монет, медалей, жетонов, кредитных билетов.
Помог становлению музея выдающийся русский археолог и историк права, профессор Варшавского и Московскою университетов, автор книг "Древние города России", "Архивное дело в России" Д. Я. Самоквасов. Каждое лето он проводил в Курской губернии раскопки курганов и часть своей богатой археологической коллекции передал курскому музею. Император Николай II повелел передать десять тысяч рублей на первоначальное оборудование музея. Среди меценатов, помогавших стать музею на ноги, были: граф С. Д. Шереметев, князья П. Н. Волконский, А. В. Барятинский, Н.В. Голицын, профессор Д. Я. Дурново, действительный статский советник А. Н. Кобылий, секретарь губернского стат-комитета Н. И. Златоверховников и другие.
Уже в 1915 году музей располагал десятью тысячами экспонатов, а его библиотека состояла из тысячи томов. За первые десять лет музей посетило более 65 тысяч человек.
После Октябрьской революции резко увеличились фонды музея за счет экспроприации научных и художественных коллекций из Ивановского творца князей Барятинских (ныне Санаторий "Марьино"), из помещичьих домов Волкова, Ребиндера, Калдаурова, Логовского и других. В музей поступили великолепная мебель и живописные картины, прекрасный старинный фарфор и высокохудожественный хрусталь, бронзовые н серебряные изделия, нумизматические коллекции. В 1928 году краеведческий музеи, как его тогда именовали, имел десять отделов.
Перед приходом в Курск немецких войск, наиболее ценные музейные предметы были эвакуированы в город Сарапул, а археологические коллекции и изделия из фарфора были упакованы в ящики и зарыты в подвале музея. В ноябре 1941 года по приказу оккупационных властей музей был открыт для посетителей.
28 февраля 1943 года, через три недели после освобождения города от оккупантов, областной музей вновь принял своих посетителей. 4 марта того года газета "Курская правда" писала: "Фашисты ненавидят советский парод, советскую культуру - все, что создано руками советского народа. 4 бандитских налета "организовали" они на Курский областной музей. Варвары украли и увезли художественную мебель 18-го века, старинные часы, разные статуэтки, картины, поломали или побили многие ценности... Сейчас музей, переоборудованный и приведенный в порядок, открыт для обозрения. Восстановлены отделы: исторический, краеведческий, социалистического строительства и другие".
Во время войны здание частично пострадало от бомбежек, были разрушены фотолаборатория, столярная мастерская, но с 1 марта 1943 года музей вновь возобновил свою работу.
В восьмидесятых годах 34 зала краеведческого музея ежегодно посещало более ста тысяч человек. Ныне в его музейной экспозиции три отдела природы, истории дореволюционного периода и истории советского общества. Курский областной краеведческий музей - старейшее в области культурно-просветительное учреждение, размещенное в здании, которое является памятником архитектуры федерального значения.
