Tenu par beaucoup comme le joyau de l'architecture Renaissance à Toulouse, l'hôtel d'Assezat offre aussi par la régularité de ses façades une bonne entrée dans ce que sera le style architectural classique à la française du XVIIè siècle.

A la base de la construction de ce prestigieux édifice, il y a la réussite d'une famille, celle des d'Assezat qui fit fortune dans la vente du pastel. Pierre d'Assezat décide de se faire édifier un hôtel particulier aux allures de palais. Il fait appel au renommé Nicolas Bachelier pour en dresser les plans (le fils de celui-ci, Dominique, poursuivra les travaux après la mort du père). Pierre d'Assezat doit cependant limiter ses ambitions du fait du refus de voisins de vendre des parcelles proches pour une plus grande extension de l'ensemble. Les travaux débutent en 1555.

L'hôtel, auquel on accède par un portail de pierre surmonté d'un tympan, s'organise autour d'une grande cour autour de laquelle les façades présentent de grandes différences. Celles qu'on voit à l'entrée (ouest et nord) sont organisées de manière assez semblables (trois étages, dont la hauteur va en décroissant, sont percés à intervalle régulier de fenêtres. Entre ces fenêtres, des colonnes groupées par deux rappellent les trois grands styles de l'antiquité grecque (dorique au rez-de-chaussée, ionique au 1er étage, corinthien au second). Au coin de ces deux façades, un escalier intérieur permet de gagner une terrasse au dessus du second étage, puis une autre plus haute et décalée, avant que la tour ne se termine par un lanternon à base octogonale.
Côté façade d'entrée, un portique à quatre travées est accessible après quelques marches (c'est aujourd'hui un espace de restauration) ; il est surmonté d'une galerie couverte trouée de petites fenêtres. A l'est, des consoles de pierre, ornées de tigres et de fleurs de pastel, et flanquées de masques de type antique, soutiennent une coursive abritée par un auvent).

La construction de l'hôtel fut largement perturbée par l'Histoire (ce qui explique peut-être) les différences entre les façades. Pierre d'Assezat, s'étant converti au protestantisme, dut prendre la fuite en 1562 après la journée de "la Délivrance" qui vit le massacre d'une partie des protestants de la ville. Ses biens furent saisis et s'il revint mourir dans son hôtel de Toulouse celui-ci n'était pas terminé à cette époque. La famille, réorientée dans les fonctions judiciaires du fait du déclin du pastel, conserva l'hôtel jusqu'en 1761 époque à laquelle il fut vendu. Au XIXè siècle, le banquier Ozenne en fit l'acquisition et le laissa à sa mort à la mairie de la ville à condition que le bâtiment abritât à perpétuité les sociétés savantes de la ville (Académie des Jeux Floraux, Société archéologique du Midi, Académie des Sciences, Inscriptions et Belles-Lettres...). A partir de 1980, la ville entreprit de restaurer l'hôtel d'Assezat. Outre sa fonction d'accueil des sociétés savantes, il devint à partir de 1994-95 le lieu d'exposition de la collection de l'Argentin Georges Bemberg (principalement constituées de peinture allant de la Renaissance au XIXè siècle.