James Ivory nació en Berkeley, California. Tras estudiar en la Universidad de Oregón, donde se graduó en Arquitectura y Bellas Artes, recibió su graduación en cine de la Universidad del Sur de California. Su primera película, que escribió, fotografió y produjo, fue ?Venice: Theme and Variations?, un documental de media hora que constituyó la tesis para su graduación.