Huis ter Zee ziet er uit als een soortement van ridderkasteel, een burcht van waaruit het oude zeedorp in de gaten gehouden en beschermd kon worden.