Benediktínske opátstvo založil na Skalke v r. 1224 nitriansky biskup Jakub I. na pamiatku pustovníkov sv. Andreja-Svorada a Beňadika. Kláštoru sa pripisoval veľký význam a stal sa duchovným centrom Považia. Rozvoj kláštora prerušil vpád Tatárov. Celých sto rokov nik nerušil tichý a bohabojný život rehoľníkov. Hlásali slovo Božie, konali misie. V r. 1421 sa však ani bohatá Skalka nevyhla husitským vojnám.

Generál Katzianer dobyl v r. 1528 Trenčiansky hrad a rozohnal benediktínov na Skalke. Od r. 1528 – 1645 bol majetok kláštora v rozličných rukách. V r. 1645 prišli na Skalku jezuiti, ktorí obnovili kláštor a priľahlé budovy, vystavali Kalváriu. Postupne zrekonštruovali Malú i Veľkú Skalku. Po zrušení rehole jezuitov sa končí duchovný rozkvet a najslávnejšia doba Skalky. Kláštor začal pustnúť.

Veľká Skalka – kostolík, kláštor a jaskyňa. Kostolík bol postavený v r. 1224 v gotickom slohu. V r. 1664 jezuiti celý objekt zrekonštruovali a v r. 1717 znovu postavili Kaplnku sv. Andreja-Svorada a Beňadika s novou vežou.  

Malá Skalka je dvojvežový kostolík postavený v románskom slohu. Zasvätený bol sv. Beňadikovi. V r. 1520 dal Juraj Turzo na jeho mieste vybudovať kaplnku, ktorú v r. 1745 jezuiti rozšírili do súčasnej podoby a pristavili k nej dve veže.