Den nåværende Gamle Præstegård ble oppført i 1850 av sogneprest og riksdagsmann Peder Neergaard som var gift med Julie Eibe. Han var prest i Ugilt fra 1845 til 1861.

I eldre kart og tekster beskrives det at andre presteboliger har ligget på stedet i mange generasjoner før den nåværende. I den eldste kjente skriflige kilde fra 1451, omtales den første prest i sognet, og i 1465 het presten Jon. Her fortelles det at han hånet grunneier Niels Pedersen fra det nærliggende Egebjerg. Det skulle han ikke ha gjort. Niels drepte presten Jon på markene nord for prestegården, og drapstedet, visstnok en liten grop i terrenget, kalles for "Prestens grav".

I 1476 er presten adelig og benevnes Steffen Chr. Tårnskytte. Den siste katolske prest i sognet, Niels Jensen, falt i unåde hos Stygge Krumpen, som fratok ham Ugilt Præstegård.

Så mange år senere fortelles det om presten Peder Neergaard, som bygget den nåværende prestegård. Det ble sagt at han var en driftig herre, som både passet sitt arbeid som folketingsmann, landmann (bonde), prest og lærer for sognets barn. De hadde stor respekt for Peder som kunne være streng når han underviste i konfirmantstuen hvis barna ikke kunne deres lekser eller salmevers. det sies at han hadde stor interresse for landbruket som han tok aktivt del i. En gang han sto i engen og stakket/hesjet høy, begynte kirkeklokkene og ringe, og han skyndet seg hjem og oppdaget at han hadde glemt en begravelse!

Peder og Julie fikk en sønn som ble født på gården 27.juni i 1854. Dette ble en av Danmarks Statsministere, nemlig Niels Neergaard. Niels utdannet seg som historiker og studerte også økonomi og statsvitenskap. Han var finansminister ved flere anledninger men var statsminister fra 1920 til 1924. Det ble sagt at han var en statsminister som hadde sin styrke i saklighet fremfor taktikk og politisk spill.

Som historiker skrev han verk om nyere, dansk politisk historie av betydning. Han sto bak noen av Danmarks sosiale lover.

Som en liten kuriositet så ble gården brukt som et gjemmested for våpen av de lokale motstandsfolk under den 2. verdenskrig.