
Karp creció en el lado Oeste de Manhattan, hijo de Barbara Ackerman y Michael Karp. Asistió a The Calhoun School, donde su madre enseñaba ciencias.
Con solo once años, y después de leer HTML for Dummies, este «niño prodigio de Internet», como lo ha bautizado la prensa especializada, empezó a desarrollar páginas web para los comerciantes del vecindario.

A los quince convenció a sus padres para que le dejaran seguir la educación en casa y aprender directamente del mundo tecnológico. Karp dejó UrbanBaby en 2006 y empezó su trabajo con Tumblr más tarde ese mismo año. A los diecisiete, ahorró lo suficiente como para vivir cinco meses en Tokio. Representa a una generación que ha crecido con el uso cotidiano de la Red, emprendedores precoces que buscan nuevos paradigmas basados en las redes sociales y en compartir contenidos y recursos.
El sitio fue lanzado a comienzos de 2007.