Egy ősi magyar nemesi család leszármazottjaként született, de nem áll rokonságban az Eötvös bárókkal, Józseffel és Loránddal. Ő maga felmenői közül Eötvös Jánosra a legbüszkébb, akit 1408-ban neveztek ki Buda első magyar bírájának. Ezt azonban a többségében német ajkú lakosság nem fogadta el, és a beiktatását követő harmadik napon házát megrohanták, őt magát pedig agyonütötték, testét a Dunába dobták. Talán ebből ered az Eötvös több művében is megjelenő németellenesség, amit elsősorban a kor magyar arisztokráciájára jellemző, a német nyelvet a magyarral szemben előnyben részesítő közgondolkodás ostorozásával jelenített meg.
Saját leírása szerint ősei ott voltak a magyar történelem minden harcában, köztük a reformációban is, melynek során a család a kálvinista hitre tért. Ez okozta a birtokaik elvesztését is, hiszen I. Lipót idején, az 1680-as években csak úgy tarthatták volna meg földjeiket, ha visszatérnek a katolikus egyházba, de ők inkább a hit megtartásával járó szegénységet választották.
A birtokait vesztett ág fiai papi és tanári pályákon folytatták tovább, s ennek során a család több tagja is részben házasság, részben öröklés útján újra birtokossá válhatott. Eötvös Károly felmenőinek politikai gondolkodását mindig egyfajta haladó szellemiség jellemezte, így például édesapja, Eötvös Lajos gazdálkodó kisnemesként küldött volt Veszprém, Tolna és Zala vármegye gyűlésein, és aktív szerepet vállalt a '48-as szabadságharc küzdelmeiben is.