Ünlü aktör, 1940 yılında kasaplık yapan bir babanın oğlu olarak Bronx, New York'ta doğdu.
Caan, başlangıçta bir futbolcu olarak kariyer yapmayı hedefledi, ancak New York eyaletindeki Hofstra Üniversitesi'nde okuduktan sonra oyunculukla ilgilenmeye başladı.
Caan, 1967'de "El Dorado"da John Wayne ile birlikte oynadı. İlk olumlu eleştirilerini 1969'da engelli bir futbolcuyu canlandırdığı, Francis Ford Coppola'nın yönettiği "The Rain People" ile aldı.
Las Vegas diye bir kumarhane sahibini canlandırdığı dizisini hiç kaçırmadan seyretmiştim...
