Ruiny neveľkého kláštora stoja na pravom brehu Váhu priamo pod strmými stenami vápencového brala v polohe nazývanej Veľká Skalka. Kláštorný areál vznikol v napojení na jaskyňu v skalnom masíve, ktorá tvorila jeho kultové centrum. Podľa tradície v nej v 11. storočí – azda začiatkom 30. rokov 11. storočia – pustovníčil Benedikt, mních zo Zoborského kláštora. Nasledoval tak príklad svojho učiteľa Svorada, ktorý viedol pustovnícky život pravdepodobne v jaskyni pri kláštore na Zobore. V Skalke jestvoval už pred založením opátstva Kostol sv. Benedikta, spomínaný v roku 1208. Nie je však isté, či sa nachádzal priamo na mieste kláštora (do úvahy...