Cornelis Jan van Nellesteyn stamde uit een typisch Utrechts regentengeslacht, dat al eeuwenlang burgemeesters en Statenleden leverde en door vele familiebanden hecht was ingebed in de regionale bestuurselite. Zijn vader, de advocaat Wouter Hendrik, was maarschalk van Eemland en dijkgraaf in Bunschoten.
Hij was getrouwd met Everarda Hillegonda de Beer. Het huwelijk was lange tijd kinderloos gebleven, dus de opluchting was groot toen er in 1759 alsnog een stamhouder werd geboren. Dat blijkt uit de maar liefst elf pagina’s lange Vreugdezang die het echtpaar bij gelegenheid van de geboorte liet publiceren.
Als enig kind zal het Cornelis aan niets hebben ontbroken. Anders dan zijn vader en bijvoorbeeld zijn oom Hendrik die lid was van de Staten van Utrecht of een eerdere Cornelis van van Nellesteyn, die vroedschap was geweest van Utrecht, volgde Cornelis Jan na de rechtenstudie die in zijn milieu een vast traject vormde, geen bestuurlijke carrière. Hij kreeg een prebende, een vast inkomen, als kanunnik van Oudmunster en werd regent in enkele Utrechtse liefdadigheidsinstellingen, maar waar voor anderen dat soort baantjes een opstap vormden naar een loopbaan in het lokale en regionale bestuur bleef Cornelis buiten die gremia. Weliswaar bleek hij tijdens de Franse inval lid van de Staten van Utrecht, maar dat was nauwelijks een zware bestuurspost te noemen, omdat de leden slechts enkele malen per jaar bijeenkwamen. Misschien was Van Nellesteyn ook wat temperament betrof ongeschikt voor een openbare functie: een gedicht bij zijn elfde verjaardag spreekt van een ‘coeur docile’. Het kan ook zijn dat hij door de invloed van zijn grootvader zich verre hield van bestuurlijke perikelen. Hendrik van Nellesteyn namelijk was als voorzitter van de Staten van Utrecht in het midden van de achttiende eeuw in vervelende conflicten betrokken geraakt. Aanvankelijk stond Hendrik bekend als een sociaal en maatschappelijk betrokken mens, die vele vergaderingen en bijeenkomsten bezocht, maar toen hij met allerlei politieke ruzies te maken kreeg, trok hij zich nogal plotseling terug op zijn buiten in Jutphaas en liet zich niets meer aan het lokale bestuur gelegen liggen. Dat zette nogal kwaad bloed, omdat de kwesties zich door ontstentenis van de voorzitter extra lang voortsleepten. Die afkeer van politiek geharrewar kan Cornelis Jan met de paplepel van opa hebben binnengekregen. In 1784 en 1785 overleden kort na elkaar Cornelis ouders. Hij bewoonde toen het ouderlijk huis aan de Drift in Utrecht, nr. 25 en dat was het hart van de goede buurt van de stad.
Aan de Drift woonden elitefamilies als de Van der Capellens, de Swellengrebels, Rams en Hinlopens. Zijn ouders hoefden zich in ieder geval geen zorgen te maken over de continuïteit van de familie. Cornelis was in 1778 getrouwd en hij en zijn vrouw Cornelia Adriana Maria van Bronkhorst, wier vader burgemeester van Utrecht was geweest, hadden al diverse spruiten op de wereld gezet. Al was Cornelis Jan geen bestuurder geworden, hij verkeerde duidelijk in de juiste kringen. Zo was hij lid van de Utrechtse loge der Vrijmetselaars, waar hij niet alleen zijn buurman op de Drift Daniël de Leeuw, eigenaar van de buitenplaats Oostbroek, ontmoette, maar waarvan ook belangrijke regenten als Van Boetselael Barchman Wuytiers, Van der Muelen en Nepveu lid waren. De loge stond onder leiding van Carl Reinhard van Reede van Amerongen, graaf van Athlone en eigenaar van het nabij Broekhuizen gelegen kasteel Amerongen.
Het was mode om de zomers buiten de stinkende stad door te brengen. Veel families beschikten over een eigen buitenplaats en indien dat niet het geval was, kon men een buiten huren. Dat laatste deed ook Cornelis Jan. Nabij Leersum lag het ooit door stadhouder Frederik Hendrik flink uitgebreide kasteel Zuylestein, dat beroemd was om zijn uitgestrekte formele tuinen. Daar brachten de Van Nellesteyns met hun groeiend gezin de zomers door en ze lieten zích zelfs op de trappen van het huis portretteren. Huis en heerlijkheid Zuylestein, waar ook Leersum en Ginkel bij hoorden, waren op dat moment eigendom van Willem van Nassau-Zuylestein, graaf van Rochfort. De eigenaar verbleef meestal in Engeland en verhuurde zijn Utrechtse buiten. Blijkbaar beviel het de familie Van Nellesteyn zo goed daar aan de voet van de Utrechtse Heuvelrug, dat zij een eigen pied à terre wilden aanschaffen. Ook de schoonfamilie, de Van Bronkhorsten, bezat in de omgeving de heerlijkheid Darthuizen en dat kan een extra reden zijn geweest voor Cornelis Jan om het kasteel Broekhuizen te kopen.