De eerste heren van Druten, waarvan al sprake is in 1076, verkochten de heerlijkheid in 1483 aan de familie Schenk van Nijdeggen. Hoewel hun kasteel aan de Waal lag, moeten de eerste heren ook een huis hebben gehad op de plek waar een nazaat van de Schenk van Nijdeggens op de restanten ervan ca.1650 een nieuw Huis liet bouwen. Het was Hendrik Schenk van Nijdeggen, lid van de Duitse orde, die daartoe de opdracht gaf.
Schuilkerk
Het is opmerkelijk dat de Staten van Gelderland dit aan deze zeer rooms-katholieke edelman toestond. Gelderland was ook, zoals de hele Republiek der Zeven Verenigde Nederlanden, protestant geworden. Het duurde dan ook niet lang dat de rooms-katholieken werd toegestaan in het Huis de eredienst te vieren. Het Huis fungeerde lange tijd als schuilkerk. Opmerkelijk is dat de Classis te Nijmegen, het regionale protestantse kerkbestuur, nooit een proces hiertegen is begonnen.
Derde fase
In de derde fase is vooral de familie Van Delen van belang. Zij bewoonden vijf generaties lang het huis. Na de dood van de laatste Van Delen werd het huis in 1866 grotendeels afgebroken.
Theekoepel
Van het huis is de omgrachting en de stenen brug nog over. Het gebouw wat er nu staat is een replica uit de negentiger jaren van de vorige eeuw van het in 1866 gesloopte poortgebouw. Het door de Van Delens gebouwde achttiende-eeuwse theekoepeltje op de Waalbandijk is er nog wel, evenals het Kasteelpad dat naar een van de uitvalswegen leidt.