Anfang der 1960er Jahre zog er nach New York, wo er als Berufsmusiker Fuß zu fassen versuchte. Bis 1965 konnte er jedoch keinen nennenswerten Erfolg erzielen, so dass er gezwungen war, diverse Nebenjobs anzunehmen und sogar sein Instrument zu verpfänden. In dieser Zeit spielte er gemeinsam mit einigen Vertretern desFree Jazz wie Sun Ra (Konzert 1964 und resultierendes Album Featuring Pharoah Sanders and Black Harold) und Don Cherry. 1963 gründete er eine eigene Band mit dem Pianisten John Hicks, dem BassistenWilbur Ware und dem Schlagzeuger Billy Higgins. Die Gruppe erregte die Aufmerksamkeit John Coltranes, so dass Sanders 1964 gebeten wurde, mit Coltranes Band aufzutreten. Die gemeinsamen Auftritte wurden bis 1965 häufiger (etwa A Love Supreme: Live in Seattle), obwohl Sanders nie offiziell als Mitglied von Coltranes Band galt. Sanders’ und Coltranes Musik aus dieser Zeit wirft die traditionellen Jazz-Formeln und die funktionelle Harmonie über Bord und konzentriert sich stattdessen auf Töne, wie sie u. a. auf Coltranes Album Ascension von 1965 zu hören sind.
Nach Coltranes Tod arbeitete Sanders überwiegend mit eigenen Ensembles, aber auch mit Alice Coltrane. Nach einem Debütalbum für das Label ESP mit der Pianistin Jane Getzveröffentlichte er von 1966 bis 1973 mehrere Alben für das Label Impulse!. Seine erste Veröffentlichung auf diesem Label Tauhid wählte das MagazinRolling Stone 2013 in seiner Liste Die 100 besten Jazz-Alben auf Platz 89. Es folgte ein Ausflug zu Arista. Von den späten 1970er Jahren bis 1987 erschienen seine Alben beim kleinen Independent-Label Theresa. Seit 1987 veröffentlichte er unter den Labels Evidence und Timeless, wobei Evidence Theresa übernahm und seine Alben aus dieser Zeit wiederveröffentlichte. 1995 erschien Message from Home, das von Bill Laswell produziert wurde, auf dem Major-LabelVerve; im Vorjahr war Sanders neben Mahmoud Ghania auf The Seven Colors of Trance (Axiom) zu hören. Joey DeFrancesco beteiligte ihn 2019 an seinem Album In the Key of the Universe.
Sanders gilt als einer der Begründer des Ethno-Jazz, wobei er denIslam und die spirituellen Traditionen Afrikas oft in seine Arbeiten einbezog und zum Thema seiner Musik machte.
Wilson hatte als Kind Violinunterricht und spielte in lokalen Trommelgruppen, wie den Tom Powell Post. Unter dem Einfluss seines Lehrers James Meredith kam er mit dem Jazz in Berührung, spielte während seiner Highschoolzeit mit Oliver Lake und Scrooge Harris; mit 14 Jahren folgten erste professionelle Auftritte mit dem Organisten Don James und Freddie Washington. Mit 16 Jahren wurde er Mitglied des Orgeltrios von Sam Lazar, bei dem er vier Jahre blieb, u. a. mit Auftritten in Minton’s Playhouse in New York. Bis 1964 spielte er in verschiedenen Rhythm-and-Blues-Bands, in St. Louis mit Lester Bowie und begleitete Soulsänger. 1965 zog er nach Chicago, wurde in der Association for the Advancement of Creative Musicians (AACM) aktiv und gehörte verschiedenen Gruppen von Roscoe Mitchell an, unter anderem dessen Art Ensemble, aus dem das Art Ensemble of Chicago entstand.
Ab 1967 spielte er in der Butterfield Blues Band und verschiedenen Rockgruppen; er nahm drei Alben mit der Butterfield Blues Band auf. Wilsons Song „Love March“, den er mit Gene Dinwiddie schrieb, wurde von der Band in Woodstock gespielt und 1970 auf dem Livealbum des Festivals veröffentlicht. Anfang der 1970er Jahre gründete er mit Dinwiddie und dem weiteren Butterfield-Bandmitglied Buzz Feiten die Jazz-Rock-Band Full Moon, mit der ein Album entstand.
1975/76 war er als Studiomusiker bei Stax Records in Memphis tätig, zog danach nach New York, wo er in der Loft- und Free-Jazz-Szene mit Hamiet Bluiett, Lester Bowie, Anthony Braxton, John Carter, Julius Hemphill, Frank Lowe, James Newton arbeitete, u. a. zu hören auf Wildflowers. 1976 wirkte er an David Murrays Debütalbum Flowers for Albert mit. 1978 konzertierte er mit einer eigenen Formation auf dem Moers Festival mit Olu Dara, Frank Lowe und Fred Williams.[1] Er war in den 1980er Jahren Mitglied inLester Bowie’s Brass Fantasy, dessen From the Roots to the Source und dessen Orgel-Ensemble (The Organizer, DIW, 1991). 1992 wurde er in der Nähe des Central Parks ermordet.