Dans un dédale de rues et de venelles, des places bordées d'anciennes demeures et hôtels particuliers du XVI° siècle. Parmi les plus connues : la maison Caylus, la maison Dufau, la maison du Consul de Rodelle, la maison d'Armagnac etc...

Ce pittoresque village médiéval laisse surtout apparaître au-dessus des toits de lauze, la fine silhouette flammée de son clocher. Les portes de l'église (1532) sont en chêne sculpté. Chacune est cloutée avec 365 clous en fer forgé. Elles ont été classées Monument Historique.

C'est Antoine d'Estaing, évêque d'Angoulême et prieur de Saint-Côme qui fit bâtir entre 1522 et 1532 une église de style gothique flamboyant avec son curieux clocher flammé "tordu".

On ne sait si la spirale a été voulue par les constructeurs ou si elle a vrillé sous l'effet de la charpente. En tout cas, durant les guerres de religion au XVI° siècle et durant la Révolution, le clocher servait de tour de guet. Un service de garde y siégeait jour et nuit.

L'église placée sous le patronage de Saint-Côme fut construite en 1522 et 1532 par le meilleur architecte rouerguat, Antoine Salvanh, architecte de la cathédrale de Rodez. L'église conserve le coeur de Monseigneur Frayssinous, ministre de l'instruction publique sous Charles X, et qui séjourna à Saint-Côme dans la maison d'Armagnac. L'intérieur de l'église est de style gothique et renferme notamment un Christ en bois de noyer attribué au sculpteur du chœur de la cathédrale de Rodez.

Près de l'église, se trouve l'ancien manoir des seigneurs de Calmont construit au XII°. Devenu résidence des Seigneurs de Castelnau de Bretounoux en Quercy puis de Curières de Castelnau, il fut transformé en pensionnat de religieux en 1891. Il abrite aujourd'hui la mairie.