Édifié spectaculairement sur un rocher de grès aux dimensions hors normes (30m de haut / 90m de long / 8m de large), le château primitif des 12ème - 13ème siècles épouse le socle naturel. Il se divise entre la basse-cour et le logis seigneurial au sommet, relié par un escalier troglodytique. Rapidement, un donjon, un puits et une chapelle s’y intercalent.
À partir du début du 15ème au milieu du 16ème siècle, commencent de grands travaux de modernisation. La basse-cour se voit agrandie et abaissée pour accueillir de plus nombreuses dépendances à usage économique (auberge, forge, écuries, poulailler, logements de service...), le tout défendu par des canonnières, d’une entrée fortifiée et d’un nouveau mur d’enceinte. Quant au château, il se voit fortifié d’une double barbacane (sécurisation de porte), de nouvelles tours d’accès et d’une plateforme d’artillerie sur un rocher avoisinant.
Pourtant, l’administration royale française n’a qu’à exploser le logis seigneurial du sommet pour que l’ensemble du site soit dévasté : il emporte dans sa chute la chapelle et écrase les constructions de la basse-cour.
Aujourd’hui, seule des reconstitutions du monument illustrent le faste du château avant sa destruction.