Van de Waaldijk gaat een brede laan van eiken, beuken en iepen naar het kasteel Neerijnen.Van dit kasteel, vroeger ook wel Klingelenburg genoemd, lezen we dat het opgetrokken werd in 1350 door Gijsbert Cock, wiens nakomelingen zich de Cock van Neerijnen noemden. Aan het einde van de zeventiende eeuw kwam het kasteel door huwelijk aan het Friese geslacht van Aylva. Deze familie kwam in 1700 door koop ook in het bezit van de heerlijkheden Waardenburg en Neerijnen. Vanaf die tijd hebben de kastelen Waardenburg en Neerijnen steeds dezelfde bezitters gehad. Precies 100 jaar later, op 17 juni, trouwde de erfgename Anna Jacoba Wilhelmina van Aylva, Vrouwe van Waardenburg en Neerijnen, met Frederik Willem Floris Theodorus baron van Pallandt, heer van Keppel, Voorst, Barlham en Hagen. Dit geslacht bleef in het bezit van de kastelen tot het laatste lid van deze tak, Julie Elise baronesse van Pallandt op 8 mei 1971 door een ongeval om het leven kwam. Met het overlijden van deze vrouw, die op sociaal en kerkelijk gebied een belangrijke plaats in de dorpsgemeenschap innam, kwam er een einde aan de band, die Waardenburg en Neerijnen en het geslacht van Pallandt 170 jaar aan elkaar verbond.
In de zomer van 1980 is het kasteel in gebruik genomen als gemeentehuis.