Nació en Berlín, de padre ruso y de madre alemana. Emigró con su familia a Estados Unidos a los siete años y creció en Nueva York. Estudió en la Universidad de Chicago, donde fundó, con Elaine May y Paul Sills, el grupo cómico The Compass, que luego pasó a llamarse Second City.
En 1957 debutó con Elaine May en el Blue Angel de Nueva York. Trabajaron en numerosos especiales para televisión y como invitados en famosos programas de la época. En 1960 estrenaron "An Evening with Mike Nichols and Elaine May" en Broadway, donde estuvieron un año. A pesar de llenar cada noche, decidieron seguir por separado.