Po smrti Jána Kastnera mestský palác prešiel rukami mnohých vlastníkov. Medzi najvýznamnejšie rodiny, ktorým patril, bola rodina Jána von Krecsmáry. Ján Krečmári zastával významné funkcie v komorskej a mestskej správe ako sekretár Hlavného komorsko – grófskeho úradu, banský sudca, mestský notár, člen mestskej rady. Rodina patrila k najbohatšej a najvýznamnejšej v meste. V tomto období sa zaužíval názov Krečmáriovský dom. Zhotovitelia záznamov ho v pozemkovej knihe zaradili do kategórie waldbürgerský (ťažiarsky) dom – Waldbürger Haus. Domy tejto kategórie patrili najbohatším vrstvám (ťažiari, obchodníci) a boli lokalizované v historickom jadre mesta. Nižšiu kategóriu tvorili meštianske domy (remeselníci, drobní obchodníci), najnižšiu v okrajových častiach banícke domy (Heuer Haus).

Rodina nadobudla veľký majetok v meste a okolí. Hospodárili napríklad aj v pivovare vo Vyhniach. Neskôr sa však potomkovia Jána von Krečmériho zadĺžili a to zasiahlo aj do osudu ich paláca, ktorý po vyrovnávaní dlhov, strát a následných predajov sa dostal do vlastníctva Ignáca Viktora von Geramb v roku 1784. Už v tom čase sa tam nachádzala časť nemocnice, priestory bývania majiteľa, poslucháreň Baníckej akadémie, knižnica, kabinet modelov, byt banského radcu, laboratórium profesora Mikuláša Jacquina. Barón Mikuláš Jozef von Jacquin bol profesorom chémie a mineralógie na novozaloženej Banskej akadémii (najstaršej vysokej školy svojho druhu na svete) v Banskej Štiavnici – v tom čase treťom najväčšom meste Uhorska. Vymenovaný bol dňa 13. júna 1763, na základe rozhodnutia Márie Terézie. Predtým však v rokoch 1754 až 1759 uskutočnil na základe požiadania Františka Štefana Lotrinského expedíciu do Karibiku a Ameriky, kde zbieral nové rastliny a zvieratá pre cisárske záhrady vo Viedni a zámok Schönbrunn. Pamätná tabuľa Mikuláša Jozefa von Jacquina sa nachádza na priečelí mestského paláca na pravo od hlavnej brány.