Omstreeks 1765 kocht dominee Wilhelmus Wilhelmius van de toenmalige heer van Brakel
Anne Frans Willem Pieck de heerlijkheid Brakel (een stuk land waar rechten aan ontleend kunnen worden).

Dat was heel gebruikelijk in die tijd. Hij kocht niet alleen de heerlijkheid
Brakel, maar hij liet er in 1768 een herenhuis (Huis Brakel) op bouwen als
vervanging van het kasteel dat in 1672 opgeblazen werd door Franse troepen.

Hoe zwaar het kasteel toen is beschadigd is
thans moeilijk vast te stellen, maar het schijnt toch nog enige jaren bewoond te zijn geweest.
Wilhelmus Wilhelmius overleed in 1771.

Zijn enige zoon Johannes Adrianus erfde toen de heerlijkheid, de ruïne van het kasteel, het
pasgebouwde herenhuis en het voormalige poortgebouw het Spijker. Johannus Adrianus Wilhelmius
was een neef van de welgestelde koopman Jan van Wageningen en overleed kinderloos in 1779.

Vanaf die tijd kwam de familie Van Dam ter sprake. Dirk Willem van Dam huwde in 1778 te Dordrecht
Maria Aletta van Wageningen, een dochter van de koopman Jan van Wageningen.
Jan overleed twee jaar later waardoor zijn dochters Johanna Agatha en Maria Aletta (gehuwd
met Dirk Willem van Dam) en hun neef Cornelis Pieter Scheyderuyt de Vos allen één derde
deel van de heerlijkheid Brakel, het herenhuis en het Spijker erfde. De Vos, die in Zwitserland
woonde, verkocht datzelfde jaar nog zijn aandeel aan zijn beide mede-erfgenamen. Johanna
Agatha, kort na deze transactie gehuwd met Johannes Theodorus Wilkens, overleed in 1781
na de geboorte van haar zoon. Haar man verkocht in 1809 de van haar geërfde goederen
aan zijn schoonzuster Maria Aletta van Dam–van Wageningen die in 1795 weduwe was geworden.
Zo kwamen de heerlijkheid Brakel, het herenhuis en het Spijker in 1809 weer in één hand.

Na de dood van Maria Aletta van Dam–van Wageningen in 1828, kreeg de oudste zoon Wilhelmus
van Dam door erfenis de heerlijkheid Brakel, het herenhuis en het Spijker in zijn bezit.
Sindsdien hebben de leden van het geslacht Van Dam zich altijd Van Dam van Brakel genoemd.
Wilhelmus van Dam is samen met zijn vrouw Madelaine Marie Geraud in Brakel gaan wonen waar hij
tot 1811 burgemeester is geweest. Dit jaar is tevens belangrijk geweest voor de ontwikkeling van
het huidige Huis Brakel en de omgeving. Wilhelmus liet een park aanleggen met een vijver en een
eiland in het midden. Hij verbouwde het herenhuis, en er kwam een verbinding van het herenhuis
naar het koetshuis met ‘het torentje’.
Wilhelmus van Dam van Brakel overleed in 1858.

Na nog een paar keer van eigenaar gewisseld te zijn, werd uiteindelijk Jean P.H.M.L. van Dam
in 1874 bezitter van de heerlijkheid Brakel, het herenhuis, de ruïne en het Spijker.
Jean P.H.M.L. van Dam woonde in Wageningen en kwam zelden in Brakel. In 1900 overleed hij en
ging de erfenis naar zijn oudste zoon Dirk Willem van Dam van Brakel. Hij heeft vermoedelijk
in 1903, met zijn gezin het (heren)Huis Brakel betrokken. Na zijn overlijden in 1931 is zijn weduwe,
Madelon S.E. van Dam van Brakel-Vermeulen, op het herenhuis blijven wonen samen met haar dochter
en zoon. Madelon is in 1959 overleden en haar dochter in 1962.

Haar zoon, wederom een Dirk Willem, is in 1938 gehuwd met Frederica Adelaïde Scheltus.
Zij gingen op het Spijker wonen.

D.W. van Dam van Brakel heeft in 1972 het landgoed en de kasteelruïne verkocht aan Stichting het
Geldersch Landschap die tot op heden nog eigenaar is.

Na 1972 is Huis Brakel bewoond door Jaap en Josien Scheltus-Scheltus. Omstreeks 1980 heeft
D.W. van Dam van Brakel Huis Brakel verkocht aan het gemeentebestuur van de toenmalige gemeente
Brakel. Vanaf die tijd heeft Huis Brakel na de verbouwing en de opening in 1982 dienst gedaan
als gemeenschapshuis. Het huidige Huis Brakel is een trouwlocatie van de gemeente Zaltbommel
en biedt plaatst voor diverse uiteenlopende bijeenkomsten zoals onder andere huwelijksfeesten,
bedrijfsfeesten, vergaderingen, workshops, diners en tal van andere bijeenkomsten.