Будівлю було зведено у 1832 році за проєктом архітектора Боффо. Пізніше цей будинок викупив російський граф Михайло Толстой. За нього було зведено прибудову для картинної галереї. Меценат та благодійник Толстой постраждав від рук більшовиків. Його заарештували, майно відібрали. У 1920 році після остаточного встановлення радянської влади в Одесі в особняку Толстих був відкритий Перший народний музей. З 1934 року музей став відділом Одеського музею Західного і Східного мистецтва. У 1934 році в колишній особняк Толстих переїхала обласна організація профспілки працівників освіти і науки України Одеський будинок вчених.
Під час Другої світової війни, коли йшла оборона Одеси, до сусідньої з Будинком учених споруди влучила бомба, проте у самій будівлі лише вилетіли шибки. Під час окупації німецький військовий комендант урятував будівлю від пограбування солдатами румунської армії. Будинок вчених працював до кінця окупації, а у березні 1944 року німці, відступаючи, зібралися підірвати будівлю. Але міни вдалося знешкодити, і Будинок вчених знову було врятовано.
У 1990-ті роки у Будинку вчених хотіли зробити бізнес-клуб, але його директорка Галина Валентинівна Терещенко зуміла добитися, дійшовши до ЮНЕСКО, щоб Будинок вчених залишився надбанням Одеси й одеситів. З 2000 року в Будинку вчених був відкритий та працював музей.
В той же день, коли відбулась ракетна атака, наша команда разом з нашим генеральним партнером, будівельною компанією Гефест, надали команду будівельників та монтажників для розбору завалів, закупили будівельні матеріали, закрили вибиті вікна, створили окремі бокси-саркофаги для цінних експонатів. Біль ніж дві доби будівельники розбирали завали та пошкоджену територію. Вивезли десятки тон брухту. Наразі, об’єкт законсервовано.