L'architecte Guillaume de Lissorgues serait mort sur le chantier. Il voulut en effet orner lui- même d'un gigantesque pélican de plomb (ou d'un phénix doré à la feuille selon les témoignages) la crête d'un pavillon du château. L'édifice resta ainsi inachevé. Il a été un centre de repos et de convalescence pour les mineurs.

Jean de Buisson suivit François 1er dans ses expéditions italiennes, aussi le château fait-il percevoir des influences florentines.
Des trois ailes prévues à l'origine pour encadrer une tour d'honneur rectangulaire, deux furent construites. L'aile centrale est de style français. L'aile latérale est d'inspiration italienne tout comme la cour d'honneur.