Jolie a kaliforniai Los Angelesben született Jon Voight és Marcheline Bertrand gyermekeként. Rokonai között számos híresség van, Chip Taylor a nagybátyja, James Haven a testvére, Jacqueline Bisset és Maximilian Schell pedig a keresztszülei. Édesapja révén csehszlovák és német felmenői vannak, édesanyja révén pedig kanadai francia ősökkel is rendelkezik.

1976-ban Bertrand és Voight elváltak, Angelinát és bátyját az édesanyjuk nevelte tovább, aki lemondott színészi karrierjéről és a New York állambéli Palisaded-be költözött gyermekeivel.

Gyermekként Jolie rendszeresen anyjával nézett filmeket, elmondása szerint ez inspirálta színésznői karrierjét, nem pedig édesapja színész volta.

11 éves volt, mikor családjával visszaköltöztek Los Angelesbe, ahol Jolie elkezdett a Lee Strasberg Theatre Institute-ban színjátszást tanulni.

14 évesen otthagyta a színitanodát és arról álmodozott, hogy temetkezési vállalkozó lesz. Ebben az időszakban fekete ruhában járt, lilára festette a haját és gyakrant járt „mosholni” a barátjával. Két évvel később, néhány utcányira anyja házától, egy garázs fölött bérelt lakást. Visszatért színi tanulmányaihoz és befejezte a középiskolát, bár úgy nyilatkozott erről az időszakról, hogy „lélekben mindig is egy tetkós kölyök maradok.”

Jolie visszaemlékezése szerint a gimnáziumi éveiben elszigeteltnek érezte magát, édesanyja szerény jövedelemből tartotta el a családot, Angelina gyakran hordott használt ruhát. Diáktársai csúfolták jellegzetes arcvonásai, szemüvege, soványsága és fogszabályzója miatt.Első kísérlete a modellkedésre kudarcba fulladt. Elkezdte rituálisan vagdosni magát késsel és éles tárgyakkal.

Jolie és édesapja viszonya régen megromlott, bár mindketten tettek kísérletet a békülésre; Voight például szerepelt Jolie 2001-es filmjáben, a Lara Croft: Tomb Raider-ben. 2002 júliusában Jolie kérelmet nyújtott be a névváltoztatáshoz, 2002. szeptember 12-én jelentették be hivatalosan, hogy elhagyta apja vezetéknevét a nevéből.