Gebouwd op een rotsachtige uitloper, werd voor het eerst in 1155 het kasteel vermeld als Rocha Fortis, wat versterkte rots betekent. Van deze benaming komt de naam van de huidige stad : Rochefort.
Aan het begin van de XVIIde eeuw ontwikkelden Jean-Théodore van Loewenstein en zijn echtgenote Josine de La Marck een weelderig hof. In 1795, tijdens de Franse Revolutie wordt het kasteel in beslag genomen voor de oorlog. Later werd het verkocht. De nieuwe eigenaars moeten zich neerleggen bij de hoge kosten en verkopen uiteindelijk de meubels en later ook de stenen van het kasteel. Gedurende meer dan een eeuw werd het kasteel aan haar lot overgelaten maar sinds 1987 zijn de overblijfselen toegankelijk voor het publiek. Ze blijven de herinnering aan een rijk verleden van de stad Rochefort.
Het kasteel is geklasseerd als monument en site van het Waalse erfgoed, en is vandaag privé-eigendom. Jonkvrouw Emelyne organiseert er gegidste wandelingen en de heks en confraters vertellen over de toverij van deze plek.
