Fundatorem klasztoru Kamedułów w Rytwianach był książę Jan Tęczyński, zwany Magnus, herbu Topór. Termin rozpoczęcia budowy uzgodniono na 15 lutego 1621 r., ale z przyczyny władz miejscowych termin przesunięto o dwa lata i kamień węgielny pod budowę położył 1 maja 1624 r. bp Marcin Szyszkowski. Budowę prowadzono pod nadzorem O. Hiacynta (1624-1625) Włocha, a pierwszym przeorem był O. Sylwian Bosselli, następnym był O. Venante da Subiaco (1629-1632), któremu przypisuje się dekoracje malarskie. Autorem stiuków w kościele był sławny artysta włoski Falkoni. Klasztor budowali kameduli włoscy w stylu włoskiego odrodzenia. Kościół został uroczyście poświęcony 27 września 1637 r. przez bpa Tomasza Oborskiego, sufragana krakowskiego. Po dwu wiekach istnienia klasztoru rytwiańskiego został on zniesiony w 1819 r. przy kasacie klasztorów w Królestwie Polski Kongresowej. Przejściowo w 1860 r., z woli spadkobierców, klasztor oddano w posiadanie OO. Reformatom przybyłym z Krakowa, ale już w 1864 r. zostali usunięci również oni przez rząd rosyjski. Od tego czasu kościół stał się filią parafii Staszów. Zarządzali nim zmieniający się wikariusze, zależni od proboszcza staszowskiego. Po I wojnie światowej klasztor z powrotem objęli dawni właściciele OO. Kameduli z Bielan Krakowskich. Jednak byli tylko w latach 1925-1927. Od tego czasu władza Duchowna Diecezji Sandomierskiej powierzyła opiekę nad klasztorem księżom, którzy jako rektorzy należeli do dekanatu w Koniemłotach. Ostatnim rektorem był ks. Wacław Siwiec, który w 1935 r. został pierwszym proboszczem nowo erygowanej parafii Rytwiany. 9 czewrca 2001 roku powstał Diecezjalny Ośrodek Kultury i Edukacji "Źródło". 15 maja 2002 roku powstał rektorat p.w. Zwiastowania NMP.