Jan Zrzavý se narodil 5. 11. 1890 v budově nově postavené školy v Okrouhlici. Její budova na levém břehu Sázavy stála tehdy stranou vsi na pozemku, který spadal do katastru sousedního Vadína. Později byla katastrální hranice upravena, budova má dnes adresu Okrouhlice 59. Proto uváděl jako rodiště obě vsi.

Jan Zrzavý byl šestým dítětem řídícího učitele Jana Zrzavého a učitelky Vilemíny, rozené Kaizlové. Otcův rod pocházel z Krucemburku, kde je doložen od roku 1604. Matka se narodila v měšťanské rodině v Třeboni. Kromě pěti starších měl ještě dva mladší sourozence.

Učení Janovi příliš nešlo. Postupně vystřídal několik škol: gymnázium v Havlíčkově Brodě, měšťanskou školu v Kutné Hoře a v Přibyslavi, opět v Havlíčkově Brodě, v roce 1905 studoval na stavební průmyslovce v Brně. Zde vážně onemocněl, a neměl perspektivu dlouhého života, proto mu otec povolil studia malířství. V roce 1906 neuspěl u přijímacích zkoušek v Praze. Vstoupil tedy na soukromou malířskou školu Karla Reisnera, poté do školy Vladimíra (Františka) Županského a nakonec do ateliéru Františka Ženíška. Od roku 1907 studoval několik let na UMPRUM u profesora Dítěte. Byl ale po školním roce 1908–1909 vyloučen. Ještě se čtyřikrát neúspěšně pokusil dostat na pražskou Akademii, dále byl samouk. V roce 1924 navštívil Francii (Paříž, Bretaň) a až do roku 1939 se do ní opakovaně vracel.