In de vijftiende eeuw was de heerlijkheid Offem in het bezit van het Delftse geslacht Pijnssen. Sinds 1650 was Offem steeds in handen van de Heren van Noordwijk, de Van der Doezen (Dousa’s) en later de Van Limburg Stirums. Het oorspronkelijke Huis Offem dateerde waarschijnlijk ook nog uit het einde van de 17e eeuw, maar toen ging het snel de verkeerde kant op: op de bovenste prent van Abraham Rademaker glorieert het huis nog in al zijn trots in 1732. Meer dan 100 jaar later – in 1856 – doet het huis dat nog steeds op een prent van P.J. Lutgers. Nog in datzelfde jaar 1856 werd het huis afgebroken en vervangen door een geheel nieuw huis. Dat sneefde op zijn beurt weer kort na de Tweede Wereldoorlog. De prenten zijn gelukkig bewaard gebleven.