Dominant du haut de sa butte la vallée du Dadou, et surveillant les voies qui menaient à celle du Tarn, la place-forte de Puybegon, en raison de son importance stratégique et économique, fut l'objet de al convoitise de nombre de seigneurs. Pour s'attacher ses habitants, Fine maïro d'en Sycart Alaman accorda une charte datée de 1246 a totz aquelas homes & totas aquelas femnas que aras so el castel de Pueg Beguo.

Descendant d'un croisé de Montfort, Guillaume des Essarts revendiqua le château en 1272. Un long procès l'opposa à Bertrand de Lautrec, qui venait d'en hériter. Ce dernier fini par avoir gain de cause en 1283, et céda une partie de son domaine à son frère Amalric.

Mais survint dans l'Albigeois, le terrible Gui de Commingues qui, depuis son repère de Giroussens, terrorisait la contrée. En août 1346, il se fit céder la juridiction des premiers appeaux qu'avait créée Jean de Marigny dans la seigneurie de Puybegon en 1342. Ce droit lui fut confirmé par Jean, duc de Normandie.

Le 25 août 1395, les consuls et noble Manfrère Vassal rendaient hommage et prêtaient serment de fidélité à Philippe IV de Lévis-Lautrec. Puybegon, par le jeu des alliances et des successions, appartint ensuite aux Armagnac, puis aux Amboise-Aubijoux.

En février 1515, par la voix du notaire Jean Motou, les puybegonnais réclamèrent que soit donné sentencia et exécutée la justicia en lo present loc de Puechbego et nou en autra part. Jacques d'Ambroise leur donna non seulement satisfaction, mais leur confirma les libertés, écrites ou non, que leur avait accordées ses prédécesseurs.

Dans l'état des lieux occupés par les protestants, que fit dresser l'évêque Philippe de Rodolphe en 1568, figure Puybegon... Or, nous savons que peu auparavant, Bernard de Saint-Maurice avait été maintenu dans la possession de la cure du village. Quoi qu'il en soit, il ne semble pas que Puybegon ait tenu quelque rôle dans les guerres de religion. Par la grâce des Aubijoux, sans doute.

A la morte de François-Jacques d'Ambijoux, en 1656, la seigneurie de Puybegon alla à la sœur du défunt, Louise d'Amboise. Elle avait épousé Jacques-Christophe de Crussol-Saint-Sulpice. Héritèrent successivement de la seigneurie : Louis de Crussol, Philippe-Emmanuel de Crussol (qui prit pour épouse Marie-Antoinette d'Estaing) et Charles-Emmanuel-Marie de Crussol... qui en 1769, préoccupé sans doute par les problèmes que lui posaient sa mère et sa soeur, en oublia l'hommage dû. Et le 11 mai de cet an 1769, Jean Saux, huissier au Bureau des Finances de Toulouse "se transporta à cheval à Puybegon où étant à la requête de Monsieur le Procureur du Roi, faute par le possesseur de ladite seigneurie de Puybegon d'avoir rendu l'hommage serment de fidélité qu'il doit à sa Majesté, procéda par Saisie Féodale sur ladite terre et seigneurie de Puybegon et, pour en percevoir les fruits et revenus, commit et établit pour Sequestre et Commissaires de Justice les personnes de Jean Bedel et autres consuls".