Gimė 1894 m. gruodžio 6 d. Biržų aps., valstiečių šeimoje.

1916 m. baigė į Rusiją evakuotą Panevėžio realinę mokyklą ir tais pačiais metais įstojo į Tartu veterinarijos universitetą. 1924 m. baigė šio universiteto Veterinarijos skyrių ir grįžęs į Lietuvą pradėjo dirbti Lietuvos 3-iajame artilerijos pulke, Kaune. Be kitų darbų, skaitė paskaitas arklininkystės tematika.

1927 m. specializavosi Vienos aukštojoje veterinarijos mokykloje.

1927 m. Vienoje parašė disertaciją ir ją apgynė. Jam suteiktas veterinarinės medicinos daktaro laipsnis. Grįžęs Kauno universiteto Veterinarijos skyriuje dėstė chirurgiją.

1928 m. paskirtas Gruzdžių aukštesniosios mokyklos direktoriumi. Dirbo iki 1938 m.

1938 m. J. Žemaitis pakviestas dirbti docentu į Lietuvos veterinarijos akademiją ir vadovauti Chirurgijos katedrai.

1942 m. buvo ekstraordinarinis profesorius.

1945 m. jam suteiktas profesoriaus vardas. Jis buvo ir Kauno Vytauto Didžiojo universiteto tarybos narys.

1944-1947 m. LVA rektorius, 1947-1956 m. - LVA Chirurgijos katedros vedėjas.

Užsienio ir Lietuvos spaudoje jis paskelbė daug mokslinių straipsnių.

1932 m. kartu su J. Motiejūnu parašė vadovėlį „Naminių gyvulių gydymas“, išvertė Oliovkovo vadovėlį „Operacinė chirurgija“.

J. Žemaitis buvo LVA steigiamosios tarybos narys, LVA Chirurgijos klinikų įkūrėjas.

1956 m. nužudytas Kaune.