Wat de Graven van Kleef niet konden voorzien, was dat een van de vele kasteelheren die het kasteel van hen in leen kregen, in 1367 verraad pleegde en het kasteel openstelde voor Gelderse troepen. Deze kasteelheer had een zeer toepasselijke naam: Claes Trouweloos. Na een aantal jaren namen de Graven van Kleef wraak en in het begin van de vijftiende eeuw werd Balgoy en Keent op gruwelijke wijze door Kleefse troepen afgestraft.
Woest verleden
Als belangrijke versterking speelde het kasteel een rol in de tachtigjarige oorlog en daarna ten tijde van de Republiek der Verenigde Nederlanden. In 1568 legerde Alva er zijn schepen met zijn troepen tijdens zijn beroemde veldtocht langs de Maas. Parma deed dat nog eens over in 1588. Na 1600 gingen de rechten van Balgoy en Keent over op de Staten van Gelre. In 1674 werd de burcht verwoest door de Fransen, die de Republiek wilden inlijven. Een andere versie is dat ze het inmiddels vervallen kasteel in brand staken. Tot het einde toe (1838) is Balgoy en Keent een Kleefs leen gebleven en heeft het een rol gespeeld in de vaderlandse geschiedenis. Het kasteel verviel uiteindelijk, omdat het op het laatst nauwelijks nog werd bewoond.
Schuilkerk
In de lange rij families die met de heerlijkheid beleend werden zijn de families Van Philipsthal en Van Weede van belang. De eerste bouwde eind achttiende eeuw een nieuw Huys te Balgoy, een fraai landhuis op de puinkegel van het oude kasteel. Het werd nauwelijks bewoond. De familie Van Weede voorzag de rooms-katholieken van een schuilkerk. In het begin van de twintigstee eeuw was Huys te Balgoy in een vervallen staat en werd afgebroken. Het buiten de omgrachting gebouwde koets- of bakhuis uit de zeventiende eeuw stortte in 1979 in.
Opgravingen 1941
Het feit dat we best veel weten van het middeleeuwse kasteel van Balgoy is te danken aan Renaud, die in de jaren veertig van de vorige eeuw de fundamenten van het kasteel blootlegde. In die periode werd de burchtheuvel afgegraven en het grachtentracé gedempt. De eigenaar van de grond waarop het kasteel stond, kreeg toestemming zand over de restanten van de fundering te gooien en er fruitbomen te planten. Wat op dit moment rest, is de mooie omgeving, de Bremte Mere, een onderdeel van de ecologische verbindingszone gelegen tussen Wijchen en Balgoy. In dit gebied vinden we prachtige struweel- en vlechtheggen.