L'architecte Guillaume de Lissorgues serait mort sur le chantier. Il voulut en effet orner lui- même d'un gigantesque pélican de plomb (ou d'un phénix doré à la feuille selon les témoignages) la crête d'un pavillon du château. L'édifice resta ainsi inachevé. Aujourd'hui, c'est un centre de repos et de convalescence pour les mineurs.
Jean de Buisson suivit François 1er dans ses expéditions italiennes, aussi le château fait-il percevoir des influences florentines.
Des trois ailes prévues à l'origine pour encadrer une tour d'honneur rectangulaire, deux furent construites. L'aile centrale est de style français. L'aile latérale est d'inspiration italienne tout comme la cour d'honneur.

Des concerts de musique classique sont organisés la première quinzaine d'août ainsi que des expositions temporaires tout au long de l'été.