L'éperon rocheux qui surplombe la rivière se voit doté d'un château féodal (qui fut détruit depuis) : le castrum de Graulhet, avec une petite bourgadeF, mentionnés pour la première fois en 961, dans un testament de Raymond Ier, Comte de Rouergue. Le village, centré sur le château, est fortifié pour constituer une petite place-forte. En 1166, Graulhet, alors une seigneurie, passe sous le contrôle des comtes de Toulouse.

En 1484, la seigneurie passe aux mains de la maison d'Amboise, grâce au mariage de Hugues d'Amboise d'Aubijoux (grand-père de Louis d'Amboise d'Aubijoux), avec Madeleine de Lescun d'Armagnac, fille de Jean.

Au xiiie siècle, fidèle à l'Église Catholique de Rome bien qu'en pays Cathare, la ville subit relativement peu de dommages durant la croisade contre les Albigeois et pendant les guerres de religion, en partie grâce à la politique de Louis d'Amboise d'Aubijoux (1536-1614), seigneur et comte de Graulhet, qui en est aussi lieutenant-général. En 1583, elle devient même le siège temporaire du diocèse, en accueillant l'évêque de Castres qui s'y réfugie. La ville se trouve alors au cœur d'une zone de production et de commerce important du pastel du pays de Cocagne. Elle devient un carrefour local du transit fluvial entre la Garonne, le Tarn et l'Agout grâce à son modeste port. De cette époque sont représentatifs le château de Lézignac et son moulin pastellier, typiques de l'industrie du pastel.

François d'Amboise, jeune comte d'Aubijoux. (Source : Banque d'images site BNF).
Au xviie siècle, le petit-fils de Louis d'Amboise d'Aubijoux, François-Jacques d'Amboise (1606-1656) est l'ami et le protecteur de Molière de 1647 à sa mort, alors que l'artiste commence sa carrière et vient de fuir ses créanciers parisiens. Son château de Crins accueille à la même époque des troubadours comme Chapelle et Bachaumont, au bord du Dadou. En parallèle, la ville voit se développer les activités d'artisanat autour du tannage, de la cordonnerie, chapellerie et en particulier de la mégisserie : environ le tiers de la population travaille dans ces domaines.