1955 ile 1958 yılları arasında Miles Davis Quintet’te Red Garland , Philly Joe Jones ve Paul Chambers ile birlikte çalmıştır. Bu süre içinde  Relaxin’, Steamin’, Workin’ ve Cookin’ isimli albümleri çıkarmışlardır. Uyuşturucu bağımlılığı yüzünden gruptan atıldıktan sonra bir süre ” Five Spot Cafe ” de çalmış ve Thelonious Monk ile plâklar doldurmuştur. 1958’de uyuşturucuyu bırakmıştır. Coltrane yeniden Miles’ın grubuna dahil olmuş ve 1959’da Kind of Blue albümünü çıkartmışlardır. Aynı dönemde kişisel kayıtlarından oluşturduğu Giant Steps albümünü de çıkartmıştır.

1960’da kendi dörtlüsünü kuran Coltrane’in grubunun davulcusu Elvin Jones, piyanisti McCoy Tyner, basçısı Jimmy Garrison’dır.

Bu grupla caz tarihinde çok önemli yeri olan albümleri kaydetmişlerdir. 1965 yılında çıkan A Love Supreme albümü bunlar içinde öne çıkanlardandır.

1965'te Ascension isimli çoklu doğaçlama free caz albümünü kaydederek free caz alanında bir klasiğe imza atmışlardır. 1965’te dörtlü dağılmıştır.1965 ‘te dağılan dörtlüsünün yerine Coltrane, 1966 ‘ da Alice Mc Leod ve Rashied Ali ile yeni bir topluluk oluşturmuştur.

1966'da davulcu Rashid Ali ile bir saksafon-davul düeti olan Stellar Regions albümünü kaydetmiştir.

1965’te Down Beat dergisinin onur listesine dahil olur.

1972’de A Love Supreme, 2001’de de My Favorite Things albümleri 500.000’den fazla satarak altın plak kazanır. 1997’de Grammy Yaşam Boyu Başarı Ödülü’ne layık görülür.

17 Temmuz 1967 de Long Island, New York da karaciğer kanserinden hayatını kaybetmiştir.

Coltrane Changes adıyla anılan bir jazz akor dizilimi de bulunur.