Milton Snavely Hershey nem sokkal az amerikai polgárháború előtt, 1857. szeptember 13-án született Pennsylvaniában, Derry járásban, mennonita (anabaptista) családban. Szülei, Henry Hershey és Veronica Fanny Snavely svájci és németországi felmenői az 1700-as években érkeztek a környékre. Apjának mindene volt az olvasás, éjjel-nappal hódolt szenvedélyének, ezért nehezen tudta családja megélhetését biztosítani. Többszöri költözködés és sikertelen próbálkozás után felesége erélyes fellépésére Henry Hershey hosszú időn át családjától távol, New Yorkban és Coloradóban próbált szerencsét. A gyakori költözködések miatt a kis Milton hol itt, hol ott járt iskolába. Anyja, aki meg volt győződve, hogy férje tehetetlenségét a könyvek okozták, attól tartva, hogy a sok tanulás fiát is tönkreteszi, nem szorgalmazta taníttatását.
Az első évtizedekben úgy tűnt, hogy a fiúnak sincs sokkal jobb üzleti érzéke, mint apjának. Több próbálkozása kudarcot vallott, míg végül karamellás cukorkák gyártásával érkezett el a várt siker. Ekkorra azonban már majdnem negyvenéves volt.
Először segédként dolgozott a helyi német nyelvű újság szerkesztőségében, azonban hamarosan az utcán találta magát, miután szalmakalapját beleejtette a nyomdagépbe. Ezután anyja egy cukorka- és jégkrémkészítőnél talált tanonc állást fia számára, ahol a cukorkagyártás alapjait sajátíthatta el. Hogy önálló vállalkozásba kezdjen, 1876-ban Philadelphiába költözött, remélve, hogy a Függetlenségi Nyilatkozat 100. évfordulójának ünneplésére érkezők beindítják az üzletet. Nagybátyjától, Abraham Snavelytől tekintélyes összeget kölcsönzött az induláshoz, de a siker elmaradt. Annak ellenére, hogy anyjával és nagynénjével együtt hat éven keresztül keményen dolgoztak, még a kölcsönt sem tudták visszafizetni. Hershey azonban nem adta fel, és philadelphiai kudarca után Denverben, New Yorkban, Chicagóban és New Orleansban próbált szerencsét. Noha ezúttal sem volt sokkal sikeresebb, mint korábban, egy fontos dolgot megtanult: friss tejjel nagyon jó cukorkát lehet készíteni.