Dzieje parafii w Rybniku sięgają czasów dość dawnych, a źródła pisane wspominają o tutejszym kościele już w wieku XII. Wiemy, że w drugiej połowie tego wieku biskup wrocławski, Żyrosław, poświęcił leżącą poza obrębem murów miejskich budowlę pod wezwaniem Matki Bożej Bolesnej.
Kościół ten wzniesiony został częściowo z drewna, częściowo był murowany, a jego fundatorem był książę opolsko-raciborski, Mieszko I Plątonogi. Osoba fundatora świadczy o niewątpliwym znaczeniu Rybnika w tych czasach. Można zastanawiać się również, czy świątynia ta była pierwszą na tym terenie, czy też może kolejną. Kościół ten został rozebrany i zastąpiony w połowie XV w. nową, murowaną budowlą. Posiadała ona nawę główną o długości 20 i szerokości 8 m oraz prezbiterium. Obok świątyni postawiono drewnianą dzwonnicę. Przy kościele, lub pod jego prezbiterium chowano znamienitych obywateli miasta.
Z biegiem czasu ta świątynia okazała się zbyt mała dla potrzeb wiernych. Coraz częściej rozważano więc kwestię budowy nowego obiektu. Głównym inicjatorem jego powstania był ks. Feliks Reisner, będący rybnickim proboszczem od 1772 roku. Jako miejsce planowanego wzniesienia nowej świątyni wskazywano jednak różne lokalizacje. Proboszcz wraz z burmistrzem Janem Bellingiem i większością mieszczan pragnął, by budowla stanęła bliżej Rynku. Natomiast właściciel Rybnika, hrabia Antoni Węgierski, którego przodkowie pochowani byli pod prezbiterium dawnej budowli, wolał lokalizację dotychczasową. W końcu zdecydowano o budowie nowego kościoła pod wezwaniem Matki Bożej Bolesnej w rejonie Rynku, zaś stary częściowo rozebrano, a ocalałe jego prezbiterium przeznaczono na kaplicę cmentarną.
Obiekt ten, przy dzisiejszej ulicy Gliwickiej, pełni obecnie rolę kaplicy akademickiej. Otrzymała ona wezwanie Wniebowzięcia Najświętszej Marii Panny. Nowy kościół, noszący wezwanie Matki Bożej Bolesnej, wybudowano w latach 1798-1801.