Les Guerres de religion détruisirent également le palais épiscopal de Vabres en 1582.
L'évêque dut même verser une rançon lors des assauts des protestants et se réfugia au château de Saint-Izaire.

C'est Raymond Ier qui créa, en 862, un monastère bénédictin à Vabres qui passa très vite sous l'autorité de l'abbaye de Saint-Victor de Marseille.

En 1317, Jean XXII, pape en Avignon, érigea Vabres en évêché. Le diocèse de Vabres se compose alors de 130 paroisses prises au diocèse de Rodez. La création de cet évêché entraîna la création d'un chapitre et la construction d'une cathédrale.