Russell, dessen Vater Musik-Professor am Oberlin College war, erhielt seine Ausbildung als Schlagzeuger u. a. an der Wilberforce University. 1941 komponierte er sein erstes Werk, New World, für Benny Carter und wurde Mitglied von dessen Band. Nach der Einberufung im Zweiten Weltkrieg bekam er Tuberkulose, weswegen er längere Zeit in Hospitälern verbrachte. Wegen seiner Krankheit musste er auch seine Karriere als Schlagzeuger beenden – er wandte sich dann später dem Klavierspiel zu. Im Krankenhaus begann er sich intensiv mit Musiktheorie zu beschäftigen. Später ging er nach New York City, wo er Kompositionsschüler von Stefan Wolpe wurde und mit Musikern wie Miles Davis, Gerry Mulligan, Max Roach, Johnny Carisi und Charlie Parker zusammenkam. Er erhielt den Auftrag, für Dizzy Gillespies Orchester ein Stück zu komponieren. Es entstand Cubano Be/Cubano Bop, ein Stück, in dem er afro-kubanische Musik mit Jazzmusik verschmolz. Es wurde 1947 in der Carnegie Hall aufgeführt und machte ihn bekannt. 1949 nahm Buddy DeFranco Russells Stück Bird in Igor’s Yard auf, in dem er Einflüsse von Charlie Parker mit denen von Igor Strawinsky verband.
1953 erschien Russells musiktheoretisches Werk Lydian Chromatic Concept of Tonal Organization, das wesentlich zur Entstehung des modalen Jazz beitrug und wichtige Jazzplatten wie Kind of Blue (Miles Davis, 1959) oder A Love Supreme (John Coltrane, 1965) vorbereitete. Mitte der 1950er Jahre nahm er mit einem Sextett, dem neben Russell auch Bill Evans (über den Russells Theorien auch Miles Davis beeinflussten) und Art Farmer angehörte, The Jazz Workshop, sein erstes Album als Bandleader, auf. Für das Brandeis Jazz Festival schrieb er All about Rosie, New York, New York nach einer Dichtung von Jon Hendricks; es wurde von New Yorker Jazzgrößen wie Bill Evans, Max Roach, John Coltrane, Milt Hinton, Bob Brookmeyer und Art Farmer aufgeführt. Anfang der 1960er Jahre entstand sein Album Ezz-Thetic mit Eric Dolphy, Don Ellis und Steve Swallow. 1961 arrangierte er All About Rosie neu für die Gerry Mulligan Concert Jazz Band.
Daneben trat er mit seinem vierzehn Musiker umfassenden Orchester in den USA und Europa auf. Das Album The African Game von 1985 erhielt zwei Grammy-Nominierungen. Auf Einladung des Contemporary Music Network of the British Council unternahm er 1986 eine Tournee, in deren Gefolge das The International Living Time Orchestra entstand, mit dem Russell seitdem arbeitete. Dem Orchester gehören die Keyboarder Brad Hatfield und Steve Lodder, der Gitarrist Mike Walker, der Bassist Bill Urmson, die Schlagzeuger Billy Ward und Pat Hollenbeck, die Trompeter Stanton Davis, Tiger Okoshi und Stuart Brooks, die Saxophonisten Andy Sheppard und Chris Biscoe, der Klarinettist Pete Hurt und die Posaunisten Dave Bargeron und Richard Henry an.
Seit den späten 1980er Jahren entstand eine Reihe größerer Kompositionen wie Uncommon Ground (auf der CD The London Concert enthalten), An American Trilogy und die dreistündige Symphonie Time Line für Orchester, Jazzband, Chor, Rockmusiker und Tänzer.
Russell starb an den Folgen seiner Alzheimer-Erkrankung.
