Jones tampil dalam berbagai produksi penting pada tahun 1960-an dan mendapatkan peran yang mendefinisikan kariernya dengan memerankan petinju Jack Jefferson dalam drama The Great White Hope.
Dia memenangkan penghargaan Tony untuk aktor terbaik pada tahun 1969 dan mendapat nominasi Oscar untuk perannya dalam adaptasi film tahun 1970.
Selain menjadi aktor panggung yang sukses, Jones juga mendapatkan peran di layar lebar, seperti dalam film Dr. Strangelove tahun 1964.
Dia mencoba peruntungannya sebagai pemeran utama pria di Hollywood dengan film The Man dan Claudine, di mana dia berhasil memanfaatkan peluang baru yang diberikan kepada para aktor Afrika-Amerika.