Anfang der 1960er Jahre zog er nach New York, wo er als Berufsmusiker Fuß zu fassen versuchte. Bis 1965 konnte er jedoch keinen nennenswerten Erfolg erzielen, so dass er gezwungen war, diverse Nebenjobs anzunehmen und sogar sein Instrument zu verpfänden. In dieser Zeit spielte er gemeinsam mit einigen Vertretern desFree Jazz wie Sun Ra (Konzert 1964 und resultierendes Album Featuring Pharoah Sanders and Black Harold) und Don Cherry. 1963 gründete er eine eigene Band mit dem Pianisten John Hicks, dem BassistenWilbur Ware und dem Schlagzeuger Billy Higgins. Die Gruppe erregte die Aufmerksamkeit John Coltranes, so dass Sanders 1964 gebeten wurde, mit Coltranes Band aufzutreten. Die gemeinsamen Auftritte wurden bis 1965 häufiger (etwa A Love Supreme: Live in Seattle), obwohl Sanders nie offiziell als Mitglied von Coltranes Band galt. Sanders’ und Coltranes Musik aus dieser Zeit wirft die traditionellen Jazz-Formeln und die funktionelle Harmonie über Bord und konzentriert sich stattdessen auf Töne, wie sie u. a. auf Coltranes Album Ascension von 1965 zu hören sind.
Nach Coltranes Tod arbeitete Sanders überwiegend mit eigenen Ensembles, aber auch mit Alice Coltrane. Nach einem Debütalbum für das Label ESP mit der Pianistin Jane Getzveröffentlichte er von 1966 bis 1973 mehrere Alben für das Label Impulse!. Seine erste Veröffentlichung auf diesem Label Tauhid wählte das MagazinRolling Stone 2013 in seiner Liste Die 100 besten Jazz-Alben auf Platz 89. Es folgte ein Ausflug zu Arista. Von den späten 1970er Jahren bis 1987 erschienen seine Alben beim kleinen Independent-Label Theresa. Seit 1987 veröffentlichte er unter den Labels Evidence und Timeless, wobei Evidence Theresa übernahm und seine Alben aus dieser Zeit wiederveröffentlichte. 1995 erschien Message from Home, das von Bill Laswell produziert wurde, auf dem Major-LabelVerve; im Vorjahr war Sanders neben Mahmoud Ghania auf The Seven Colors of Trance (Axiom) zu hören. Joey DeFrancesco beteiligte ihn 2019 an seinem Album In the Key of the Universe.
Sanders gilt als einer der Begründer des Ethno-Jazz, wobei er denIslam und die spirituellen Traditionen Afrikas oft in seine Arbeiten einbezog und zum Thema seiner Musik machte.