De broederschap werd opgericht in het begin van de 14de eeuw. Het oudste document waarin de broederschap wordt vermeld, is een testament daterend uit 1308. In 1314 keurt de Kerk deze stichting goed. Het voornaamste doel was de verering van Onze-Lieve-Vrouw en de zorg dragen voor de armen. 

Op 1 augustus 1334 had een van de belangrijkste feiten van de broederschap plaats. De Hasseltse priester Reynerus Baintsoyn liet een gebedshuis - de clerckenkapel - bouwen op een stuk grond dat hij zelf geschonken had. Aan deze kapel werd een eeuwigdurend beneficie verbonden ter ere van Onze-Lieve-Vrouw. De kapel werd in 1357 ingewijd door Diederik, hulpbisschop van Luik.

Op 12 juli 1348 werden de plichten van de confraters en de statuten van de broederschap vastgelegd door de Luikse bisschop Engelbert van der Mark (1345-1363). In de statuten werd ondermeer de samenstelling van het bestuur vastgelegd. Zo werden er ieder jaar een deken, twee procurators en vier raadsleden gekozen. Lid kon men enkel worden na aanvaarding door het bestuur.

Op 2 april 1476 liet Hendrik Strauven bij testament het merendeel van zijn goederen na aan de Virga Jesseleden. Dit was een van de belangrijkste schenkingen en werd het Grauw-Laecken genoemd, met de jaarlijkse rente liet de broederschap wollen kleren voor de armen maken. Het Witte brood en het Lynen-Laken waren schenkingen uit de 16de eeuw, respectievelijk van Jan Goermans en van Philippe de Geloes. Vanaf dan vindt men in de bronnen meldingen van de herstellingen aan de kapel.

Al van voor de Franse Revolutie schonk de Broederschap van Onze-Lieve-Vrouw Virga Jesse om de zeven jaar, ‘s maandags na de eerste Virga Jesseommegang, gratis erwtensoep onder het toeziende oog van de Langeman. Op het einde van de 18de moest de hulp aan de armen worden stopgezet wegens de Franse overheersing.

In 1867 had de plechtige kroning van het Virga Jessebeeld plaats. Bij deze gelegenheid werd eveneens de statuten van de broederschap herzien en aangepast. De vroegere regels bleven van toepassing. Een nieuwe bepaling was onder meer het beslissingsrecht wanneer het beeld in de kerk mocht verplaatst worden.