Au milieu de l'enchevêtrement de bâtiments qui constituent le coeur du pouvoir communal toulousain, la tour des archives est en piteux état au début du XVIè siècle. En 1525, on confie à Pierre de Naves le soin de conduire des travaux de restructuration du bâtiment. Les travaux qui durent quatre ans sont poursuivis par Laurent Clary. Les archives sont installées au premier étage (elles y restent jusqu'en 1946) tandis que le rez-de-chaussée sert de salle de réunion pour les capitouls.

Le XIXè siècle verra une profonde transformation de la situation du "Donjon". Il est d'abord dégagé par la destruction de la plupart des bâtiments constituant l'ancienne zone du pouvoir capitulaire. La statue de Dame Tolosa qui le surmontait est démontée (elle sera transportée au sommet de la colonne Dupuy). Enfin, les travaux de Viollet-le-Duc pour restaurer le "Donjon" conduisent à l'installation sur son toi d'un beffroi typique du nord dont la présence, pourtant incongrue, donne au bâtiment toute son originalité.