Po wybuchu II wojny Jankowski działał początkowo w instytucjach opieki społecznej. W roku 1941 objął urząd Dyrektora Departamentu Pracy i Opieki Społecznej Delegatury Rządu RP na Kraj. Od grudnia 1942 roku był już zastępcą Delegata Rządu RP na Kraj Jana Piekałkiewicza, a po jego aresztowaniu został Delegatem z nominacji prezydenta i premiera RP. 3 maja 1944 roku powołano do życia Krajową Radę Ministrów i na jej czele stanął właśnie Jan Jankowski. W lipcu 1944 roku został upoważniony przez Rząd RP na Uchodźstwie, depeszą od premiera Stanisława Mikołajczyka, do podjęcia decyzji o ogłoszeniu powstania w Warszawie. Po konsultacjach z dowódcą Armii Krajowej generałem Tadeuszem Komorowskim taką decyzję podjął w dniu 31 lipca 1944 r.

1 sierpnia 1944 r. o godz. 17.00, godzinie „W” wybuchło Powstanie Warszawskie. Za swoją żołnierską postawę w czasie Powstania Warszawskiego Jankowski został odznaczony Orderem Virtuti Militari.