Der aus Santa Monica, Kalifornien, stammende Black besuchte die University of California in Los Angeles. Er begann seine Karriere auf der Bühne, wo er 1989 beim Edinburgh Fringe Festival in Tim Robbins’ Inszenierung von Carnage auftrat. Im Laufe seiner Karriere arbeitete er immer wieder mit Robbins zusammen. 1992 gab er sein Leinwanddebüt in der politischen Satire Bob Roberts und spielte in Robbins’ Dead Man Walking (1995) und Cradle Will Rock (1999) mit. Die 90er Jahre verbrachte Black mit Neben- und Hauptrollen in einer Vielzahl von Filmen, darunter Demolition Man (1993), The Cable Guy (1996), in dem er den besten Freund von Matthew Brodericks Figur spielte, und Jesus’ Son (1999), in dem Black eine kleine, aber äußerst denkwürdige Rolle als pillenschluckender Krankenhauspfleger hatte.
Im Jahr 2000 hatte Black in High Fidelity eine seiner bis dato bekanntesten und mit Begeisterung aufgenommenen Leinwandrollen. In Stephen Frears’ populärer Verfilmung des gleichnamigen Romans von Nick Hornby spielte Black die Rolle des Barry, eines durch und durch unausstehlichen Angestellten eines Plattenladens.
