Nasce l'otto dicembre del 1932 ad Asch in Lussemburgo. Tra i dilettanti vinse il Giro dei Dodici Cantoni nel '51 e la Freccia del Sud nel '51 e '53, prima di passare professionista. Definito l'"Angelo della montagna" sulle montagne sembrava spesso avere le ali; non si esagera infatti nel presentarlo come il più grande scalatore che il ciclismo abbia mai avuto anche se la sua grandezza sulle montagne non era costante ed emergeva particolarmente in occasione di giornate dal clima avverso: pioggia, neve, freddo sono stati gli elementi naturali che hanno maggiormente esaltato le sue qualità. In salita spingeva rapporti più agili dei suoi avversari, anche rispetto a Bahamontes che pure fu un grandissimo scalatore. Ebbe in gruppo tanti acerrimi avversari, ad esempio l'infiammata rivalita con Bobet. Un episodio su tutti: si corre il Giro del '57 e la corsa sta per affrontare il Bondone. Gaul si lascia sfilare, si ferma sulle prime rampe per fare pipì e in testa al gruppo Bobet lancia il segnale della battaglia. Il lussemburghese è staccato e perde il Giro, tappa al francese e Giro a Nencini. Un altro attentato subì al Tour del 1960: corre per una squadra mista ed è l'uomo da battere. C'è la tappa del Ventoux ma la mattina si accorge che alla sua bicicletta è stato allentato il movimento centrale: da quel giorno è costretto a custodire le sue biciclette con grandissima attenzione. Negli anni compresi fra il '56 e il '60 nessuno fu in grado di contrastarlo seriamente in montagna. Memorabili le giornate del Monte Bondone nel Giro del '56 e nella tappa della Chevreuse (con sette colli) nel Tour del '58; in entrambe le occasioni sconvolse la classifica che già lo condannava e arrivò al successo finale. Basterebbero queste gesta per decretarne la grandezza, ma ha ottenuto altre grandi affermazioni: nel Giro d'Italia '59, seconda maglia rosa, davanti ad Anquetil, quasi per prendersi una rivincita sugli avversari dai quali era stato beffato nel '57. Campione da corse a tappe (quando non si distraeva e trovava la necessaria concentrazione) ha iniziato dieci Tour de France terminandone sette e ottenendo oltre alla vittoria nel '58 il terzo posto nel '55, vincendo 10 tappe, indossando 10 maglie gialle e trionfando in due classifiche finali del Gran Premio della Montagna. Sette i Giri d'Italia con due vittorie, due terzi e due quarti posti, 11 tappe vinte, due classifiche del Gran Premio della Montagna e 20 maglie rosa. Arricchiscono il suo palmares, composto da una quarantina di vittorie, tre Giri del Lussemburgo, un Giro delle Sei Provincie e un Giro del Sud Est. Memorabile il terzo posto nel mondiale del '54 sul Sachsenring (dopo Bobet e Schaer). Per sei anni fu campione nazionale e nel '58 gli fu assegnato il Trofeo Gentil. Smise di correre una prima volta nel 1963, poi tornò nel 1965 senza ottenere alcun risultato. Finita la carriera ebbe diversi problemi personali. Gestì una birreria con pessimi risultati, cadde nel vortice dell'alcool da cui però fu capace di uscire e divenne poi dipendente del Museo dello sport lussemburghese.
Muore il 6 dicembre 2005 a causa di un'embolia polmonare, nell'ospedale del Lussembrugo dove era ricoverato da una decina di giorni a causa di una caduta nella sua casa di Itzig.