In de late middeleeuwen woonden in Warmond heel wat edelen. Deze bouwden hier meerdere kastelen, meestal versterkte woontorens. In de 14de eeuw telde het dorp zeker zes van zulke kastelen: Warmond mag dan ook met recht een kastelendorp worden genoemd.
Op de kaart hierboven zijn vijf van de zes kastelen te zien. Deze kastelen stonden als een soort gordel rondom het toenmalige dorp. Van onder naar boven zijn te zien: de woning van Oude Simon van Teylingen, kasteel Endepoel, Dirks Steenhuis, de woning van Jacob XII van den Woude en het Huys te Warmont. Het zesde kasteel was kasteel Alkemade: dit stond noordelijker, aan de Wasbeeklaan nabij Sassenheim.
De meeste kastelen in Holland waren vrij bescheiden: het waren ‘slechts’ versterkte woontorens zoals op de foto hiernaast (De Lunenburg bij Utrecht). Het bouwen van zo’n toren was namelijk heel duur. Alleen de allerhoogste adel of de vorst waren financieel in staat om grotere kastelen te bouwen.
In Warmond huisden zowel lage als hoge edelen. Daardoor waren er in ons dorp zowel kleine als grote kastelen te vinden. Als modale edelman bewoonde de heer van Warmond in de 14de eeuw een woontoren, de voorganger van het huidige Huys te Warmont.
Maar het geslacht Van Teylingen, een hoogadellijke familie die voortdurend in de omgeving van de graaf verkeerde, bouwde hier juist een groot kasteel: Dirks Steenhuis. Naast een flinke donjon bestond dit kasteel uit een ovale ringmuur met een poorttoren. Daarmee leek het veel op het nog bestaande kasteel Teylingen bij Sassenheim (zie foto).
