Најранији материјални докази о присуству хришћана у самом граду потичу с краја II или с почетка III века. Ту археолошку оставштину чине предмети са хришћанским симболима и порукама нађеним најчешће у близини Саборне цркве, али и у западном делу доњег града Београдске тврђаве. Место код Саборне цркве упућује на скоро непрекидно постојање живота храма, Цркве Христове у овом граду.
Најстарији забележени податак о организованој Цркви у самом граду везује се за крај III века, будући да је 303-304. године уследио први велики Диоклецијанов прогон хришћана. Приликом овог гоњења хришћана, у Сингидунуму су пострадали ћакон Фортунат и хришћанин Донат.
У првој половини IV века, у историји цркве поново налазимо на податке о страдању хришћана у самом граду. Због сукоба између Лицинија и Константа, у самом граду су 315.године пострадали ђакон Ермил и његов тамничар преобраћени хришћанин Стратоник.
Вероватно је после Миланског едикта Сингидунум постао и епископско седиште. Његов епископ Уреције аријанац активно учествује на сабору у Тиру 335. године, а његова активност запажа се и на саборима у Сардици 343. године и Сирмијуму 351. године. Околност да је Сингидунум тада јеретички центар произилази из његовог пограничног положаја у царству.
Епископија у Сингидунуму помиње се 579. године, када се аварски кан Бојан заклео сингидунумском стратусу Сету да неће напасти град. Свете књиге на којима се кан заклео послао је епископ Сингидунума.
Према германској школи, досељавање Срба на ово подручје крајем VI и почетком VII века пада у време цара Ираклија (610-641.). До његовог времена не помиње се ни једно словенско племе у области Сингидунума. Први поменути Срби су у “Спису о народима”, делу цара Константина VIII Порфирогенита. У спису је забележено да је цар покрстио Србе преко свештеника послатих из Рима. Следећи средњовековни писани податак о београдској епископији је писмо папе Јована VIII, упућено бугарском кнезу Борису-Михајилу. У овом писму помиње се београдска епископија на чијем трону је тада столовао епископ Сергије, судећи по имену, човек словенског порекла. Њега је на тај положај, по тврђењу папе Јована, незаконито поставио епископ Георгије, за кога можемо претпоставити да је припадао Цаирградској цркви.
Да је Београд у то време био значајно црквено седиште, сведочи и податак да су ученици Св. Методија, после његове смрти 885. године, уточиште нашли управо у овом граду. Св. Климент, Наум и Ангелар бораве у сигурности Београда, све док их представник бугарске власти не пошаље свом владару. Из овог времена ископавањем су сачувани и најстарији остаци неке цркве у Београду. То су делови довратника у који су неколико стотина година урезивани крстови и надвратник или надрозарник са рељефом на којем два лава чувају крст. На основу места и услова открића може се рећи да та архитектонска пластика потиче из храма који је био смештен на северном крају горњег града Београдске тврђаве.
Београдска епископија је у историјским изворима поново забележена у доба цара Василија II(986-1025). У првој повељи византијског цара помиње се Београдска епископија, која је око 1019. ушла у састав Охридске архиепископије и обухватала је велику област са градовима: Градац, Ужице, Глава и Бела Црква. Као епископско седиште, средњовековни Београд је морао имати најмање један храм са епископском резиденцијом. Из времена обнављања византијске власти у Београду, почетком XI века, потиче завршни део осмоугаоног ступца мермерне олтарске преграде са рељефним преплетом. На страници окренутој наосу исклесан је крстолики мотив са криновима. Може се претпоставити да је ово део најстаријег београдског саборног храма посвећеног Пресветој Богородици.
Током XI и XII века, београдско подручје је поприште честих сукоба између Угарске и Византије. Исак Анђео је последњи византијски цар који је долазио у град, око 1190. године.Могуће је да је Београд пао у Угарске руке око 1204. године, после похода крсташа на Цариград и његовог пада у руке Латина. Није познато шта се тих деценија дешавало са црквом у граду. Зна се само да 1232. године Београд није више седиште епископије јер је у црквеном погледу био подређен Сирмијском епископу.
По први пут Београд долази под српску власт 1284. године, када је краљ Драгутин од свог таста – угарског краља Стефана добио на управу Мачву, део Срема и Београд. Београд тада поново постаје седиште епископије. По предању, велики број храмова у Београдској епископији води порекло управо из времена краља Драгутина. Сачувани су подаци о постојању велике Саборне цркве у граду, 1314. године. Остало је непознато да ли је краљ Драгутин овај храм подигао из основа или је обновио неки старији. Архиепископ Данило описује радостан догађај за Београд, посету византијске принцезе и српске краљице – Симониде: И дође у славни и сјајни Београд српски, који стоји на обали реке Дунава и Саве. И ту се у великој Саборној цркви митрополитској поклонише са умиљењем чудотворној икони Пресвете Богородице.
У доба деспота Стефана Лазаревића, Београд постаје престоница српске државе, њено политичко, привредно и културно црквено седиште. Управо за то време подигнуто је или обновљено више београдских храмова. Костантин Философ, биограф деспота Стефана, на првом месту помиње цркву Успења Пресвете Богородице, која се налази источно од града, у манастиру који је био и седиште београдског митрополита.У самом граду је била смештена велика Саборна црква. Костантин описује и њен иконостас, набрајајући распоред икона на њему. У Деспотовој палати у Горњем граду сазидана је придворна црква. Ван града подигнут је храм Света три Јерарха, намењен сахрањивању архијереја, а на “Најслађој води” болница са црквом Св. Николе Чудотворца. Пре 1417. године саграђен је и храм Свете Петке, са моштима преподобне Параскеве. По смрти деспота Стефана, 1427. године, Београд је предат Угарима. Од тада па до пада Београда под Турке, 1521. године, српска митрополија живи у врло тешким околностима. Споља је угрожавају Турци, а изнутра Угари због непристајања на Унију. Коначним падом Београда под Турке, велики број Срба протеран је из града под стражом и насељен у Цариград. Са собом су на пут понели и највеће градске светиње, мошти Св. Петке и царице Теофане и чудотворну икону Пресвете Богородице. Ускоро су у Цариграду, као успомену на напуштену београдску Саборну цркву, подигли цркву која је била посвећена Успењу Пресвете Богородице.