Raffaele Carlo Rossi urodził się 28 października 1876 roku w Pizie we Włoszech. W 1887 roku wstąpił do zakonu karmelitów bosych (O.C.D.). Po ukończeniu kolegiów karmelickich w Rzymie przyjął święcenia kapłańskie 21 grudnia 1901 roku. Następnie wykładał w domu zakonnym w Rzymie w latach 1902–1920. 22 kwietnia 1920 roku otrzymał nominację na biskupa diecezji Volterra, a sakrę biskupią przyjął w kościele Santa Teresa al Corso d’Italia w Rzymie z rąk kardynała Gaetano de Lai. W 1923 roku rozpoczął pracę w Rzymskiej Kurii, początkowo jako asesor w Kongregacji Konsystorialnej oraz sekretarz Kolegium Kardynalskiego.