En 1338, comme l'indique une enquête de Jean de Rupé, lieutenant du Sénéchal de Carcassonne, le château-fort de Moulayrès était l'une des principales forteresses de la seigneurie de Lautrec. De sa butte qui surveillait la vallée de l'Agout, un souterrain le reliait au château de Missècle; un autre débouchait, en contre-bas, à l'Ayo.

Le seigneur de Moulayrès, François de Châteauverdun, fut fait prisonnier en 1587 par le sieur de Planèses et dut payer une rançon de 550 écus. La même année, les habitants de Moulayrès contribuèrent à l'entretien de la garnison de Damiatte ; et c'est sans doute à cette époque que le château-fort fut détruit. Il n'en reste aucun vestige.

Les Châteauverdun appartenaient à l'une des plus importantes familles de l'Albigeois. Ils étaient alliés avec les principaux seigneurs des alentours. On retrouve leurs traces à Graulhet, Lombers, Brousse. Damiatte, Briatexte.

Le cheptel de cette commune essentiellement agricole s'élevait en l'An IV à : 180 moutons, 310 brebis, 101 agneaux, 80 chèvres, 71 porcs et truies, 30 bœufs, 80 vaches, 6 taureaux, 18 génisses, 2 veaux, 1 cheval, 12 juments, 4 poulains, 14 ânes et ânesses, 11 mules ou mulets. De 300 habitants en cette même année 1795, la population est tombée à 144 en 1987. Au xve siècle, l'église Saint-Laurent - dont il n'y a plus la moindre trace, sinon dans la mémoire collective (tout comme Saint-Martin le Vieux) - avait Saint-Barthélémy de Missècle pour annexe. Erigée en 1844, l'église Saint-Martin des Bruyères (San Marti dé las Brugas) est aujourd'hui le centre de la commune, avec l'école et la mairie.

Le porche comportait trois entrées : au nord, pour les fidèles venant de Moulayrès, à l'est pour ceux qui arrivaient des environs de Puycalvel, à l'ouest pour ceux qui habitaient du côté de Damiatte.