Han er sønn av regissør Stephen Gyllenhaal og manusforfatter Naomi Foner. Gyllenhaal begynte tidlig med skuespill, og fikk sin første hovedrolle i "October Sky" i 1999. Han ble for alvor kjent gjennom kultfilmen "Donnie Darko" (2001) hvor han blant annet spilte mot sin søster, Maggie Gyllenhaal. Siden det har han spilt i flere storfilmer, og ble nominert til Oscar for beste mannlige birolle for sin prestasjon i filmen "Brokeback Mountain" (2005).

De siste årene har han vært å se i filmer som "Jarhead" (2005), "Zodiac" (2007) og "Prince of Persia: The Sands of Time" (2010).