Kind van arme Italiaanse immigranten uit New Jersey begon als 11-jarige filmpjes te maken op 8mm. Opgeleid bij de Actor’s Studio, speelde enige tijd op Broadway. Figurant in From Here to Eternity (Fred Zinnemann, 1953) en verschillende tv-series, substantiëler rol alleen in de speelfilm Kathy O’ (Jack Sher, 1958). Regiedebuut met de lowbudgetfilm Street Fighter (1959). Na 14 afleveringen van Lassie (1961-64) en 8 van Gunsmoke (1962-65) twee bioscoopfilms, One Spy Too Many (1966) en The Spy in the Green Hat (1967), die feitelijk beide bestonden uit twee aan elkaar gemonteerde afleveringen van de serie The Man from UNCLE. Vervolgens voor Universal The Hell with Heroes (met Rod Taylor en Claudia Cardinale; 1968). Ook Colossus: The Forbin Project (1970). The Man (met James Earl Jones als de eerste zwarte president; 1972),
White Lightning (met Burt Reynolds; 1973), Goldengirl (1979), Coast to Coast (1980), Nightmares (1983) en Jaws: the Revenge/Jaws 4 (1987). De laatste film leverde Sargent een nominatie op voor een Razzie als slechtste regisseur. Daarna alleen nog televisie, onder veel meer de biopic The Karen Carpenter Story (1989) en Mandela and De Klerk (met Poitier en Michael Caine; 1997). Ontslagen als regisseur van Buck and the Preacher (1972) en vervangen door de als regisseur debuterende hoofdrolspeler Sidney Poitier. Hetzelfde gebeurde bij de verfilming voor tv van Fania Fénelons Auschwitzmemoires Playing for Time (met Vanessa Redgrave; Daniel Mann, 1980). Gescheiden van actrice Mary Carver, getrouwd met actrice Carolyn Nelson.
Joseph Sargent Tribute from Avaryl Halley on Vimeo.