Ce batiment a été donné en 1079 par Guigues, Comte de la place d'Albon à l'abbé Hugues.
Sa construction remonte aux XI ème - XII ème siècle.
Certaines parties ont été remaniées au XVème ou XVIème siècle. La pîerre utilisée est de la molasse, grès argileux très tendre, de teinte blonde.