A felvidéki Ghymes települést egy 1113-ból fennmaradt oklevélben említik először, mint a nyitrai ispánsághoz tartozó várföldet.
A II. András király által 1226-ban a Hontpázmány nembeli Ivánka előkelőnek adományozott területen a tatárjárás után, 1265 körül építtetett kővárat Ivánka fia András.
II. Ottokár cseh király 1271-es hadjárata során egy kisebb sereg megtámadta az 514 méter magas hegycsúcson emelkedő erősséget is, de a védők sikerrel verték vissza rohamukat. Két esztendő múlva a Hontpázmányok ismét megvédték a várukat a csehektől.
A XIV. század elején kitört anarchikus állapot idején Csák Máté ostrommal elfoglalta Ghymest és haláláig szilárdan a hatalmában tartotta. 1321-től királyi birtok.
A középkor további évszázadaiban a magáénak mondhatta még Erzsébet királyné, Oppelni László nádorispán, majd 1386-tól a Kis Károly uralkodót súlyosan megsebesítő Forgách Balázs pohárnokmester által ismét a Hontpázmányok leszármazottjához jutott vissza.
A XV. század közepén, mikor a cseh husziták uralma alatt állt a Felvidék nagy része, Ghymes esetleges megszállásáról nem tudunk.
A mohácsi csata utáni belháború során Habsburg Ferdinánd befolyási övezetébe tartozott.
Korabeli adatok szerint először 1589 májusában jutottak el török lovasportyák erre a vidékre, amikor a fehérvári törökök rabolták és gyújtogatták a Ghymes környéki jobbágyfalvakat. A magánvár őrsége, kisszámú lévén, nem sokat segíthetett rajtuk.
A XVII. század folyamán általában ágyúlövés nélkül kaput nyitott a felvonuló seregeknek, így 1605-ben Bocskai István hajdúinak, majd 1620 körül Bethlen Gábor fejedelemnek.
A magas hegyen álló középkori erősség, mivel sem a harcászati elveknek megfelelően kiépítve, sem fegyverrel és őrséggel ellátva nem volt, nem játszott fontosabb szerepet a hadműveletekben. Sorsa mindig a közeli, erősebb Nyitra várának helyzetétől függött. Közvetlen veszélybe 1663 őszén került, mikor Köprülü Ahmed török nagyvezér a felvidéki hadjárata során elfoglalta a hadászati fontosságú Érsekújvárt, majd Léva és Nógrád végvárait. Egy kisebb muzulmán sereg Husszein budai pasa vezetésével megszállta Nyitra várát is. A török lovasportyák Ghymes vára körül száguldozva feldúlták, elpusztították a környező jobbágyfalvakat, de az erődítményt nem támadták meg. Mivel a következő esztendőben a császári seregek visszafoglalták Nyitrát, ez a környék is felszabadult a törökök fenyegetése alól.
A Forgách főnemesi família mindig rendíthetetlen Habsburg-hű volt, ezért ghymesi várukat nem érintette a Lipót császár által 1701-ben kiadott, a magyar erősségekre vonatkozó felrobbantási parancs. A grófi család, bár ritkán fordult meg a kényelmetlenné vált hegyi sasfészekben, továbbra is gondot viselt rá, kis létszámú őrség vigyázta falait.
A II. Rákóczi Ferenc által vezetett szabadságharc idején a felkelők kardcsapás nélkül megszállták és 1704-1708 között uralmuk alatt tartották. A vesztes trencséni csata után azonban 1708 augusztusában kénytelenek voltak kiüríteni, a földesura – Forgách Simon gróf – pedig követte a száműzetésbe a „nagyságos fejedelmet”. Ezért a felségsértésért a királyi Kamara elkobozta a váruradalmat tőle, amit Jan Vratiszláv cseh származású kancellár 130 ezer aranyért vásárolt meg. Tőle 1712-ben, szintén vásárlással, Forgách Pál rozsnyói püspök birtokába került, így ismét az ősi família kezelte. Bár a család nem a kényelmetlen hegyi sasfészekben lakott, de igyekeztek azt jó karban tartani. Mikor 1722-ben a völgybeli településen felépült barokk kastélyuk, a középkori vár lassan elvesztette minden szerepét. A 19. század közepén teljesen elhagyták lakói. Az elhagyott épületek falai fokozatosan omladozni kezdtek, a vár területét napjainkban sűrűn benőtte az aljnövényzet.
