Huis ter Duin kent een bouwproces van jaren, zo niet van een volle eeuw. Er werd voortdurend een gebouw bijgeprikt, afgebroken en weer opnieuw bijgeprikt. Bovenstaand beeld is dan ook maar één fase van het hele tijdsverloop. Het grote gebouw (het enige oude deel dat er nog staat) was er nog niet.