Xavier Byvoet werd geboren in 1881 in Hechtel. Hij was de jongste uit een gezin van zeven kinderen. Zijn vader, Jacques, was burgemeester van Hechtel en provincieraadslid.

In 1904 behaalde Xavier op 23-jarige leeftijd in Leuven het diploma van doctor in de rechten. Omdat zijn oudere broer Modest als advocaat in Hasselt gevestigd was, liet Xavier zich als stagiair inschrijven bij de balie in Antwerpen. Hij voelde zich echter aangetrokken tot de ontluikende christelijke sociale beweging en zo kwam hij na enige tijd terecht in Morlanwelz en werd ingeschreven bij de balie in Charleroi. Hij had echter heimwee naar zijn Limburg en toen zijn broer Modest tot vrederechter in Mechelen-aan-de-Maas werd benoemd, kwam Xavier naar Hasselt. 

In 1908 sloot hij zich aan bij het Leesgezelschap, in 1910 werd hij er verkozen tot commissaris en in 1915 en 1940 tot voorzitter. Ondertussen trouwde hij op 12 augustus 1911 in Alken met Yvonne de Corswarem. In 1916 werd hij bestuurlid van het Davidsfonds. In 1925 zat hij in het voorlopig comiteit van het 'van Veldeke-Leëncomité' en in 1935 werd hij verkozen als eerste voorzitter.

In 1919 werd hij tot substituut-krijgsauditeur en daarna tot rechter bij de rechtbank van eerste aanleg in Hasselt benoemd. Eerst vervulde hij de taak van onderzoeksrechter maar zijn werkelijke bestemming als sociaal werker zou hij vinden toen hij in 1927 tot kinderrechter werd benoemd. Zijn verdienste als kinderrechter hebben ertoe geleid dat hij door zijn collega's gekozen werd tot voorzitter van de Unie der Kinderrechters van België (ca. 1945) en als lid van de Koninklijke Commissie der Beschermingscomité's voor zedelijk verlaten kinderen en vrijgelaten gevangen. 

In 1932 werd hij voorzitter van de rechtbank en vervulde dit ambt gedurende bijna 20 jaar tot hij in 1951 tot het emeritaat werd toegelaten. In 1946 werd hem gevraagd het voorzitterschap te willen waarnemen van de Bond van Kroostrijke gezinnen van Limburg wat hij aanvaardde en uitoefende tot 1957. 

Xavier Byvoet stierf in 1965 ten gevolge van een slepende ziekte. Hij werd in alle intimiteit begraven op het kerkhof aan de Sint-Truidersteenweg in de familiekelder Byvoet-de Corswarem. 

Hij schreef diverse rechts- en geschiedkundige bijdragen in talrijke tijdschriften (Rechtkundig Tijdschrijft, Limburg, Het Belang van Limburg, Oostland, Rechtskundig Weekblad, Het Kind: de kinderechterrubriek).