Ha trabajado en numerosas películas, pero fue catapultado a la fama por su interpretación del empleado sarcástico en la tienda de música de John Cusack en Alta fidelidad. El papel le valió un Premio Blockbuster al Mejor Actor Secundario y una nominación al Premio de la Comedia Americana. A continuación fue el coanfitrión con Sarah Michelle Gellar de los Premios de Cine MTV 2002. El programa tuvo la mayor audiencia que jamás había conseguido una ceremonia de entrega de premios de MTV y fue el más visto del año en la televisión por cable.
En septiembre de 2003 demostró su poder de atracción colocando en el primer puesto a la película School of Rock/Escuela de rock, producida por Scott Rudin y dirigida por Richard Linklater a partir de un guión de Mike White. La película recaudó 80 millones de dólares en Estados Unidos. El actor fue nominado a un Globo de Oro a la Mejor Interpretación Masculina en una Película Musical o Cómica.
En abril de 2004 coprotagonizó con Ben Stiller la película de Barry Levinson, Envidia, producida por DreamWorks. También fue la voz de Lenny en la película de animación El espantatiburones con Will Smith, Angelina Jolie, René Zellweger y Martin Scorsese. Estrenado en octubre de 2004, el largometraje recaudó 160 millones de dólares sólo en Estados Unidos.
Sus seguidores también le conocen en su faceta de vocalista del grupo cómico de rock-folk Tenacious D, que fundó con su amigo Kyle Gass. Lanzaron su primer álbum, “Tenacious D”, en 2001 con la discográfica Epic Record y no tardó en convertirse en disco de oro. La banda protagonizó una serie de variedades para HBO que se emitió en 1999. Asimismo, acaban de terminar de rodar su primer largo, Tenacious D in: The Pick of Destiny.
Otras películas suyas son el éxito de los hermanos Farrelly, Amor ciego, en la que interpretó su primer papel protagonista con Gwyneth Paltrow, y Orange County/Colgado, pringado y sin carrera (2001), dirigida por Jake Kasdan a partir de un guión de Mike White, coprotagonizada por Colin Hanks.
También trabajó en Tres idiotas y una bruja (2001) con Jason Biggs y Steve Zahn, y en la producción independiente Jesus’ Son (2000) con Billy Crudup. Debutó en la película de Tim Robbins Ciudadano Bob Roberts.