Mielőtt a kelták Munster királyinak székhelyévé tették volna, Cashel már fontos kultikus központ volt. Valószínűleg emiatt terjesztették, hogy Szent Patrik (aki a valóságban talán sohasem járt errefelé) itt magyarázta el a fafejű Aengus királynak megtérése előtt egy lóhere segítségével a Szentháromság titkát. Aengus semmilyen teológiai magyarázatot nem értett, ezért a türelmét vesztő szent egy háromlevelű lóherére mutatott és azt mondta: ahogy ezen a növényen három levél található egy száron, úgy van a Szentháromságban három személy egy Istenben.
Sokáig az Eoganacht, walesi származású dinasztia uralkodott itt, majd Brian Boru a munsteri királyi címmel együtt a várat is megszerezte. 1101-ben a sziklavár a casheli püspökök tulajdonába került. 1152-ben, az ír egyházi reform után, a püspöki székhely érsekségi rangra emelkedett. A vallásháborúk során Cashel életét Miler McGrath érsek igazgatta, aki arról volt hírhedett, hogy érdekei szerint hol katolikus, hol protestáns egyházvezetőként vallotta meg hitét. A cromwelli hadjárat idején Cromwell Inchiquin nevű tábornoka foglalta el a várat, a tőzegraktárak tüzelőjét felhalmoztatta a templom falai mellé és meggyújtatta. A háborús időszakok elmúltával újjáépítették a megrongálódott falakat, de az immár protestáns püspökök egyre huzatosabbnak találták a sziklán emelt épületeket, és 1748-ban végleg elhagyták Cashel várát. 1839. január 6-án a Nagy Szél néven ismert orkánszerű szélvihar erősen megrongálta az addig aránylag jó állapotban megmaradt épületeket. Ekkor tűnt el például a katedrális teteje is falrészletekkel és faborításokkal együtt. A 19. század végén a megnövekedett érdeklődés miatt állagmegóvó munkákba kezdtek.
