Około roku 1440 w tym miejscu, gdzie obecnie znajduje się Radomyśl, pasterze postawili kapliczkę, w której umieścili obraz Matki Bożej Bolesnej. Z czasem w pobliżu tej góry było już kilka domów. Z okolicznych wsi schodzili się ludzie do kapliczki, a że tu wszyscy w modlitwie do Matki Bożej Bolesnej doznawali pociechy i z rozradowaną myślą odchodzili, dlatego tę osadę nazwano Radomyślem. W 1556 roku Jakub Sienieński z żoną Reginą założyli w granicach tej osady miasteczko Radomyśl na prawie magdeburskim. W 1614 roku doszło do kanonicznej erekcji parafii w Radomyślu przez bpa Piotra Tylickiego. Poprzedził ją akt fundacyjny ze strony Abrahama Sienieńskiego. Pierwszy kościół postawiony w 1556 roku, spalił się w lipcu 1669 r. Początkowo opiekę duszpasterską w Radomyślu sprawowali Księża Kanonicy Bożego Ciała z Kraśnika. W 1625 roku Abraham Sienieński sprowadził do Radomyśla księży Augustianów w celu "rozwinięcia i ożywienia" kultu Matki Bożej Bolesnej. Po spaleniu się pierwszego kościoła parafialnego, nabożeństwa przeniesiono do drugiego kościoła pod wezwaniem Matki Bożej Bolesnej. Stał on nad Sanem na wzniesieniu "Zjawienie", nazwanym kiedyś "Górą Kowalichy", o którym bliższych historycznych danych nie ma. Zbudowany w roku 1675 kościół parafialny istniał 55 lat. Spalił się w 1730 roku. Spłonął wówczas także stary budynek klasztorny. Trzeci kościół zbudowano jak dwa poprzednie z drzewa za przeoratu o. Symeona Dudzińskiego w latach 1737-1743. W niedługim czasie, bo w 1805 roku kościół został spalony. Następny czwarty z rzędu kościół parafialny, również drewniany, istniejący do dziś wybudowano w roku 1828. Jego restauracja została przeprowadzona w 1984 roku. W bocznym ołtarzu umieszczono obraz Matki Bożej Pocieszenia. Kiedy w 1828 roku zaczęto odprawiać nabożeństwa w nowym kościele, ten na "Zjawieniu" chylił się ku upadkowi. W 1843 roku rozebrano go i z tego drzewa postawiono organistówkę w mieście. W 1850 roku staraniem Franciszki Pawłowskiej przy pomocy księżnej Lubomirskiej Felicji z Charzewic rozpoczęto wznoszenie murowanego kościoła na Zjawieniu, którego budowę ukończono w 1859 roku. W głównym ołtarzu ponownie umieszczono obraz Matki Bożej Bolesnej o wymiarach 46 x 33 cm, malowany na dębowej desce, przedstawiający stojącą postać Matki Bożej w powłóczystych szatach z mieczem tkwiącym w sercu. W 1944 roku cofające się wojska niemieckie wysadziły kościół. Uratowały się tylko obraz Matki Bożej Bolesnej, obraz Pana Jezusa w Ogrójcu i obraz św. Felicyty. W 1958 roku ks. Walerian Motyka rozpoczął budowę kościoła na "Zjawieniu" i w krótkim czasie doprowadził do ukończenia. 23 sierpnia 1959 r. bp S. Jakiel dokonał poświęcenia tego kościoła. W 1991 roku 15 września abp I. Tokarczuk dokonał koronacji obrazu Matki Bożej Bolesnej. Koronę poświęcił Ojciec św. Jan Paweł II dnia 2 czerwca 1991 roku w Rzeszowie. Parafia posiada akta parafialne od roku 1780.