Grand collectionneur d’art et érudit, Georges Bemberg a, tout au long de sa vie, travaillé à la constitution d’une collection. Cette dernière est remarquable par sa diversité et la qualité des œuvres réunies. Dès les années 1980, M. Bemberg cherche un lieu pour abriter sa collection et la présenter au public. La municipalité de Toulouse lui propose de mettre à sa disposition l’hôtel d’Assezat. Cette proposition répond en effet parfaitement au vœu de Georges Bemberg de disposer d’un lieu hors du commun pour présenter sa collection.

L’ouverture au public se fait en 1995 après plusieurs années de travaux pour réhabiliter le bâtiment et y installer les collections. Une seconde campagne de travaux a lieu au début des années 2000 pour rénover le bâtiment et l’agrandir.

​

Aujourd'hui, le programme prévoit une refonte complète du musée aussi bien architecturale, technique que muséographique.