Jan II urodził się około 356 roku. W 387 roku objął urząd biskupa Jerozolimy po śmierci Cyryla. Według współczesnych badaczy jest autorem pięciu Katechez Mistagogicznych, które tradycyjnie przypisywano jego poprzednikowi. Bronił teologii Orygenesa wraz z Rufinusem z Akwilei przeciwko krytykom takim jak Hieronim, Epifaniusz z Salaminy i Teofil z Aleksandrii. Przyjął brytyjskiego ascetę Pelagiusza i przyczynił się do uznania jego nauki za ortodoksyjną podczas synodu w Lydda-Diospolis w 415 roku. Następnie prowadził korespondencję z Augustynem z Hippony. W 415 roku polecił wybudować Hagię Syjon. Zmarł 10 stycznia 417 roku. Kościół katolicki wspomina go 10 stycznia, a Kościół prawosławny 30 marca.