Urodził się 24 października 1892. Syn Józefa i Zdzisławy z Kowalskich. Ukończył Szkołę Handlową Zgromadzenia Kupców w Łodzi. W latach 1909–1912 studiował na Uniwersytecie w Liège, otrzymując półdyplom z chemii technicznej. Po studiach wrócił do Łodzi, a praktyki zawodowe odbywał w fabrykach chemicznych w Zgierzu. Jeszcze przed wybuchem wojny został zatrudniony na stanowisku inżyniera w Białej Cerkwi na Ukrainie.
Znał kilka języków obcych: niemiecki, francuski i rosyjski.
Po wybuchu I wojny światowej zmobilizowany do armii rosyjskiej i skierowany do szkoły oficerskiej w Kijowie. Po ukończeniu szkoły w stopniu chorążego przydzielony do zapasowego pułku w Teodozji. Uczestniczył w walkach na froncie rumuńskim, w Bukowinie i Mołdawii, gdzie został ranny. W 1917 awansował na stopień podporucznika.
Po rewolucji lutowej i upadku caratu działał w Związku Wojskowych Polaków. W 1917 był komisarzem frontu rumuńskiego, a następnie oficerem operacyjnym sztabu II Korpusu Polskiego w Besarabii. Pod Kaniowem dostał się do niewoli niemieckiej, z której zbiegł i za pośrednictwem ppłk. Michała Żymierskiego trafił do Polskiej Organizacji Wojskowej. Po sformowaniu na Kubaniu 4 Dywizji Strzelców Polskich gen. Lucjana Żeligowskiego w stopniu porucznika został w niej szefem wywiadu. Wraz z oddziałami dywizji powrócił do niepodległej już Polski w maju 1919. W czerwcu 1919 roku został oficerem do zleceń gen. Józefa Hallera, służąc jako szef wywiadu jego armii na Wołyniu i Podolu.
Po powrocie do kraju jako kryptoanalityk, obdarzony uzdolnieniami matematycznymi i wyobraźnią został organizatorem i naczelnikiem Wydziału II Radiowywiadu Biura Szyfrów Oddziału II Sztabu Generalnego Naczelnego Dowództwa w latach 1919–1924. Powierzono mu utworzenie komórki kryptoanalizy w Sztabie Generalnym. Rozbudował całą sieć stacji nasłuchowych połączonych ze Sztabem Generalnym za pomocą dalekopisów Hughesa. W komórce tej zatrudnił profesorów – wybitnych przedstawicieli polskiej szkoły matematycznej, profesorów Uniwersytetu Warszawskiego i Uniwersytetu Lwowskiego: Stanisława Leśniewskiego, Stefana Mazurkiewicza (późniejszego prorektora Uniwersytetu Warszawskiego), znającego świetnie język rosyjski Wacława Sierpińskiego i młodych asystentów matematyki. 1 czerwca 1919 został mianowany kapitanem.
Na przełomie sierpnia i września 1919 Kowalewski złamał pierwsze klucze szyfrowe Armii Czerwonej, umożliwiające odczytanie korespondencji bolszewickiej z frontów wojny domowej na Ukrainie, w południowej Rosji i na Kaukazie. Złamał też szyfry Armii Ochotniczej i „białej” Floty Czarnomorskiej, a także szyfry Armii URL, co pozwalało śledzić wydarzenia na terenach Rosji od Syberii po Piotrogród i od Murmańska po Morze Czarne. Już w styczniu 1920 rozpoczął łamanie szyfrów niemieckich. Od sierpnia 1919 do końca 1920 polski wywiad radiowy przejął kilka tysięcy szyfrogramów (głównie Armii Czerwonej), z czego w okresie letnich miesięcy 1920 ich liczba kształtowała się na poziomie 400–500 miesięcznie.
Po wybuchu II wojny światowej, nadal był związany z polskim wywiadem wojskowym, działał w bukaresztańskim komitecie pomocy uchodźcom polskim. Utrzymywał też kontakty z siecią japońskich attaché wojskowych w okupowanej przez Niemców Europie, które dawały wsparcie polskim siatkom wywiadowczym. Dzięki jego pośrednictwu grupa oficerów sekcji rosyjskiej polskiego Biura Szyfrów wyjechała do Tokio, gdzie – aż do grudnia 1941 r.– zajmowała się łamaniem tajnej korespondencji Armii Czerwonej.
Po upadku Francji Jan Kowalewski wyjechał do Portugalii, gdzie z upoważnienia gen. Władysława Sikorskiego kierował tzw. Placówką Łączności z Kontynentem. Prowadził m.in. rozmowy z wojskowymi i dyplomatycznymi przedstawicielami Rumunii, Węgier i Włoch (akcja „Trójnóg”), przygotowując grunt do przejścia tych państw ze strony „osi” na stronę aliantów i politycznych oraz przygotowania politycznych i wojskowych warunków do przeprowadzenia lądowania i ofensywy na Bałkanach. Godziło to w interesy sowieckiej Rosji, dla której Bałkany miały stać się terenem ekspansji. Na skutek nacisków Stalina, wyrażonych podczas konferencji w Teheranie, (po raz drugi sowiecki dyktator osobiście interweniował w sprawie Kowalewskiego; pierwszy raz w 1933 r. gdy został usunięty z Moskwy) został on wiosną 1944 roku odwołany z Lizbony do Londynu.
Po wojnie Kowalewski pozostał na emigracji w Londynie. Od 1955 był wydawcą miesięcznika „East Europe and Soviet Russia”, współpracował z Radiem Wolna Europa. Do końca życia zachował przenikliwość umysłu, m.in. dwa lata przed śmiercią rozszyfrował szyfr, którym posługiwał się Romuald Traugutt podczas powstania styczniowego. Przyczyną śmierci Jana Kowalewskiego była choroba nowotworowa. Zmarł 31 października 1965 r. w Londynie.
