Parmi les nombreux hôtels particuliers de l'époque de la Renaissance, celui de Jean de Bernuy illustre la réussite exceptionnelle d'un homme.

Jean de Bernuy est en fait originaire d'Espagne ; il est né vers 1475 à Burgos et vient s'installer à Toulouse, ville avec laquelle sa famille est en affaire pour le commerce du pastel. Commerçant en grande partie avec l'Espagne, il accumule une fortune considérable en prenant l'habitude d'effectuer des achats anticipés de pastel (sa zone de vente finit par s'étendre jusqu'aux Pays-Bas espagnols, à l'Angleterre ou à l'Italie). Témoignage éclatant de sa réussite, il devient capitoul en 1533. Le reste de sa vie se perd dans une série de faits plus ou moins certains, sans doute largement légendaires : Jean de Bernuy se serait porté caution pour le versement de la rançon de François ier prisonnier de Charles Quint ; il aurait été l'hôte fastueux du roi lors de son passage à Toulouse en 1533 ; il serait mort en 1556 victime d'un taureau lors d'un combat qu'il aurait organisé entre le bovidé et des chiens.

De Jean de Bernuy il demeure surtout cet hôtel particulier construit à proximité des Jacobins, siège du couvent des Frères Prêcheurs pour lesquels il a grande vénération. Cet hôtel est le coeur d'un ensemble de bâtiments (maisons, boutiques et entrepôts) à proximité de la rue Peyrolières (aujourd'hui Gambetta). De tous ses bâtiments ne reste que sa demeure proprement dite, construite sur près de trente ans par plusieurs architectes dont le plus important fut Louis Privat. Donnant sur la rue, le portail datant du début du XVIè siècle montre un maintien des formes d'un gothique flamboyant. Il sera quelque peu modifié vers 1530, époque à laquelle il perdra peut-être les créneaux dont il était de prime couronné. Du début du siècle date aussi la haute tour-escalier dont Bernuy aurait exigé qu'elle soit "plus haute que celle de Monsieur le Procureur" (du Parlement). La cour principale, due à Louis Privat, date des années 1530 à l'époque où la fortune de Jean de Bernuy est devenue considérable. Elle présente un décor somptueux taillé dans la pierre qui multiplie les références à l'Antiquité (médaillons consacrés aux héros et aux dieux), deux galeries aux étages pertmettant de circuler entre les deux ailes de la demeure.

Passé au fils de Jean de Bernuy, l'hôtel est vendu au receveur général des finances de Montpellier en 1556. Dix ans plus tard, le nouveau propriétaire le cède à la ville afin d'y créer le collège des jésuites. Le bâtiment n'a cessé depuis d'être un lieu d'enseignement : collège royal après l'expulsion des jésuites, collège et lycée Pierre de Fermat aujourd'hui.