Povijest biskupije Mainz seže u daleku prošlost. U dokumentima se prvi put spominje već u IV. stoljeću. A njezin prvi poznati biskup bio je Martin (oko 346.). U početku je po veličini područja bila odmah poslije rimske biskupije, puno prostranija nego danas.
Stoljećima prije Krista na ovom je području živjelo indoeuropsko pleme Kelta. Nakon njih dolaze Rimljani koji su zauzeli cijelo područje s lijeve strane Rajne i osnovali vojna uporišta u Mainzu i Kölnu. Kako su se vojnici brzo mijenjali, nije čudno što u ovim krajevima prve kršćane nalazimo već u II. stoljeću.
Nakon što su Huni 451. razorili Mainz, grad su s okolicom 456. zauzeli Franci u čije se vrijeme kršćanstvo sve više širi. Širenju kršćanstva osobito su pomogli irski i engleski redovnici. Među njima je svakako najveći Winfrid (Engleska), od Pape prozvan Bonifacije, koji je bio i prvi nadbiskup (745. – 754.) u Mainzu, iako će sama biskupija biti proglašena nadbiskupijom tek za vrijeme njegova nasljednika Lula (780./82.). Sv. Bonifacije je bio veliki misionar, organizator Crkve i širitelj kršćanstva tako da ga od VII. st. nazivaju "apostolom Njemačke".
Postavši nadbiskupijom, od VIII. st. Crkva u Mainzu uživa poseban ugled u Katoličkoj crkvi. Nazvana je i osobitom kćeri Rimske crkve (Ecclesiae Romanae specialis filia). Od značajnijih nadbiskupa toga doba treba spomenuti sv. Mavru Hrabana (847. – 586.) koji je ispjevao poznatu posljednicu "O, dođi, Stvorče Duše Svet".
U povijesti ove nadbiskupije osobito mjesto zauzima i nadbiskup Willigis (975.- 1011.), koji je ujedno i prvi nadkancelar Svetoga rimskoga njemačkog carstva. On je podigao znamenitu katedralu sv. Martina u Mainzu.
Godine 1257. nadbiskup je Mainza prvi između sedam tzv. izbornih knezova koji su birali njemačkog kralja.
Usprkos mnogim sukobima između crkvene i svjetovne vlasti u srednjem vijeku, vjerski je život napredovao i razvijao se u raznim oblicima pobožnosti i karitativnog djelovanja.
Koncem srednjeg vijeka na području su nadbiskupije nazočni mnogi muški i ženski crkveni redovi. Njihovi članovi nasljeđuju Krista strogim asketskim životom. Nadbiskupi Mainza nastojali su ne samo oko vjerskog napretka nego i svakoga drugoga, osobito kulturnoga i prosvjetnoga. Tako je nadbiskup Diether von Ysenburg 1477. osnovao sveučilište koje i danas djeluje.
Nesnalaženjem u zamršenim okolnostima u XVI. stoljeću, nadbiskup Albrecht von Brandnburg (1514.-1545.) i sam je djelomice doprinio da se reformacija, koju je započeo Martin Luther, sve više širila. Nastupili su teški dani Tridesetogodišnjeg rata (1618.-1648.) u kojem je Crkva puno pretrpjela.
Prema odredbama Tridentinskog sabora da svaka biskupija ima svoj odgojni i obrazovni zavod za svećenički pomladak, naša je nadbiskupija 1662. ustanovila sjemenište koje i danas djeluje. U XVII. i XVIII. st. kulturni i vjerski život u nadbiskupiji cvjeta. Širi se pobožnost prema euharistiji, Srcu Isusovu, a liturgija se obogaćuje pučkim molitvama i pjesmama. To je vrijeme kad se podižu mnoge predivne barokne crkve.
Dolaskom Francuza u ove krajeve 1792., nadbiskupija proživljava teške godine. Nakon što je tisuću godina bila nadbiskupija, ona 1803. postaje opet biskupija. Odlaskom Francuza 1814. vjerski život u biskupiji ponovno oživljuje. Posebno je značajna revolucionarna 1848., koja je Crkvi donijela više slobode, npr. u izdavanju i širenju vjerskog tiska, osnivanju raznih crkvenih udruga. U Mainzu je te iste 1848. godine (3. – 6.X.) održano provo zasjedanje "Katoličke udruge Njemačke".