Het begon allemaal als een oefening in de acteerworkshop die Cassavetes in de jaren 50 leidde, een geïmproviseerd  scenario over drie zwarten uit Manhattan die sukkelen met relaties en hun plek in de maatschappij. Hugh, de oudste en een would-be jazzmuzikant, waakt over Ben en Lelia, die allebei voor blank zouden kunnen doorgaan. Hugh, die donkerder van huid is, raakt steeds meer verbitterd omdat hij geen kansen krijgt: zijn talent moet hij verspillen in de eet- en striptenten waar hij verplicht wordt trompet te spelen, wil hij overleven. Ben is een lome nietsnut die zijn dagen op straat slijt en tegen beter weten in een meisje probeert op te pikken. Lelia valt voortdurend voor de verkeerde mannen en wordt heen en weer geslingerd tussen hysterie en misplaatste arrogantie.
Shadows is het leven van de straat gerukt met de handcamera, in 16mm-zwartwit. Charles Mingus en saxofonist Shafi Hadi’s bluesachtige bebopmuziek roept de ziel van de stad op.