Op de plek van de Kaagsociëteit stond in 1726 een scheepmakerij. Daarvan was in 1830 geen sprake meer. Vanaf 1865 was hier een boerderij. Deze was eigendom van de familie Van der Geest. In 1916 verkocht J.W. van der Geest de boerderij aan de Haagse kunsthandelaar D.J. Sala. Een jaar later verkocht hij deze aan J.C. van Hoolwerff, voorzitter van de in 1910 opgerichte Zeil-, Roei- en Motorsportvereeniging De Kaag, die de boerderij liet verbouwen tot sociëteit. Deze werd in 1918 in gebruik genomen. De sociëteit werd in 1932 met de huidige koepelzaal uitgebreid. De starttoren werd in 1921 gebouwd naar een ontwerp van M.Th. Elout en zou een cadeau geweest zijn van een voorganger van de Hollandsche Beton Groep. Het is één van de eerste gebouwen in Nederland dat volledig uit gewapend beton werd opgetrokken. In 2016 werd de toren grondig gerestaureerd. Sinds 1917 bevindt zich op het terrein van de Kaagsociëteit een gepleisterde bloembak op een gemetseld basement. Het basement bestaat uit een vierkant tweesteense plint met een ronde opbouw. Daarop staat de bloembak: een ronde schaal op vier ronde korte zuiltjes. De zuiltjes hebben eenvoudige basementen en kapitelen. De schaal is voorzien van basreliëfs met bloemmotieven en de inscriptie: “heb ik het zaad hier ingeleid, dan hoop ik dat het goed gedijt”.