Les Templiers y ont développé un village, après y avoir bâti un château disparu depuis longtemps. Les Hospitaliers ont construit une muraille en grande partie conservée aujourd'hui : tours rondes rue du Portalou et des Remparts.

Flâner dans la Cavalerie, c'est découvrir des anciens hôtels particuliers, de belles portes du XVIIème siècle, de petites échoppes. Son église du XVIIIème abrite les vestiges de l'ancienne église templière bâtie après que l'Ordre du Temple ait pris possession de ce nouveau fief en 1154.

La Cavalerie n'a pas été épargnée par les Guerres de religion, qui furent très odieuses en Sud-Aveyron. Ainsi, en 1568, des bandes de soldats protestants l'investissent et n'hésitèrent pas à griller les paysans du cru.