Jan Grauls werd geboren in Hasselt in 1887. Hij studeerde aan het Sint-Jozefscollege en aansluitend Germaanse talen in Leuven. In 1910 promoveerde hij tot doctor in de Germaanse filologie. Hij schreef hiervoor een proefwerk over de klankkleur van het Hasselts dialect. Dit werk werd bekroond door de Vlaamse Academie.

In 1911 ging hij aan de slag op het ministerie van Landbouw en Openbare werken. Hij stapte al snel over naar het ministerie van Openbaar Onderwijs. Hij schopte het hier tot directeur-generaal. Grauls wenste zich evenwel buiten de partijpolitiek te houden, maar onderhield nauwe contacten met het Vlaamsch Nationaal Verbond (VNV).

Grauls schreef verschillende wetenschappelijke publicaties over ondermeer het 'Zuid-Afrikaans', de 'Eenheid van Taal en Spelling', 'Familienamen', 'Spreekwoorden', 'Brabantse Folklore' en bijdragen over Vlaamse auteurs.

Tijdens de bezetting in 1940 werd hij gouverneur van Antwerpen en twee jaar later waarnemend burgemeester van Brussel. Na de oorlog werd hij aangehouden en drie jaar opgesloten in de gevangenis. Zijn goederen werden geplunderd of verbrand. In juni 1947 kwam hij vrij en in 1950 kreeg hij zijn burgerrechten terug. Hij vestigde zich daarna in Gent als handelsbediende. In deze periode schreef hij daar nog ongeveer 900 wetenschappelijke werken. 

Jan Grauls stierf in Astene in 1960. Hij werd begraven op Campo Santo in Sint-Amandsberg (Gent).