Le bâtiment qui abrite aujourd'hui le Musée Saint-Raymond est une sorte de miraculé. Lorsqu'au milieu des années 1850, la municipalité de Toulouse fit détruire tous les bâtiments religieux qui entouraient l'église Saint-Sernin, cet ancien collège fut conservé.

A l'origine, le bâtiment abritait un hôpital pour les ouvriers blessés lors de la construction de l'église Saint-Sernin. Au début du XVIè siècle, l'architecte Louis Privat créa un nouveau bâtiment afin d'accueillir les étudiants venant étudier le droit ou la théologie à l'université de Toulouse (c'est ce qu'on appelle collège depuis l'époque médiévale). Racheté par la ville en 1836, il échappe à la démolition et est restauré par Viollet-le-Duc entre 1868 et 1871. En 1891, le lieu devient un musée afin d'abriter les collections du Musée des Antiques jusqu'alors abritées aux Augustins.

Au terme d'une longue période de travaux, le musée a rouvert en 1999. Il présente toujours des collections sur l'antiquité (éléments de trésors tectosages, statuaire d'époque gallo-romaine, sarcophages chrétiens) mais a élargi son domaine au Haut Moyen Age (période wisigothique). Les découvertes réalisées pendant les travaux (une nécropole antique occupait les lieux) ont entrainé la transformation du sous-sol en un véritable espace archéologique. Le musée présente également au rez-de-chaussée des expositions temporaires (deux par an en général).