De buitenplaats ‘Huis te Jaarsveld’ ligt aan de rand van het dorp Jaarsveld, tegen de dijk van de Lek. Mede vanwege de aan het kasteel verbonden hoge heerlijkheid was het vanaf de veertiende eeuw een prestigieus bezit. Willem van Oranje, zoon Filips Willem en de nazaten van raadpensionaris Johan de Witt konden zich ooit eigenaar noemen.
Het kasteel Jaarsveld is tijdens het Rampjaar 1672 verwoest door Franse troepen. Zij hadden het aanvankelijk slechts geplunderd, maar toen hen ter ore kwam dat het Staatse leger er zijn intrek had genomen, keerden ze terug om het in brand te steken. Het kasteel is daarna nooit meer opgebouwd, maar de middeleeuwse terreinindeling met een dubbel grachtenstelsel, kasteeleiland en voorburcht is tot op heden gaaf aanwezig en maakt deel uit van de huidige aanleg van de buitenplaats, die beschermd is als rijksmonument, gerangschikt is onder de Natuurschoonwet (NSW) en onderdeel is van het beschermde dorpsgezicht Jaarsveld.
Het huidige buitenhuis is omstreeks 1760 gebouwd op een kavel ten noorden van het kasteeleiland. Het is in 1867 vergroot en in 1974 uitgebreid gerestaureerd. Recent tuinhistorisch onderzoek heeft veel nieuwe inzichten opgeleverd over de ontwikkelingsgeschiedenis van de tuin- en parkaanleg. De ontdekkingen vormen de inspiratie voor de op handen zijnde restauratie van tuin en park.