Barokní městský palác vzniklý 1752-53 podle projektu otce a syna Grimmů představuje významnou architektonickou památku a zásadní urbanistický prvek historického prostoru Zelného trhu.
Jeden z prvních domů na dnešním Zelném trhu, jež byl majetkem žďárského kláštera, získal po roce 1737 svou pozdně barokní podobu pod vedením Františka Antonína Grimma. Palác zůstal v majetku kláštera až do roku 1784, kdy byl klášter zrušen a začal střídat majitelé. V 19. století bylo přistavěno patro a celek byl pseudobarokně upraven. Po jistou dobu vlastnil palác také významný brněnský měšťan Philipp Radlische Erben. Na konci 18. století byl také v paláci hostinec U krásné otrokyně. Nakonec v roce 1904 ustanovil jako sídlo své firmy jeho nový vlastník Josef Lídl – výrobce hudebních nástrojů.
Palác posledních šedesát let chátral. Před znovuotevřením byla nutná kompletní rekonstrukce, která nebyla jednoduchá. Od roku 1958 patří palác mezi kulturní památky. Každý drobný zásah se tak konzultoval s památkovým ústavem. Původní barokní okna, nástěnné malby nebo omítky – na to vše museli řemeslníci dávat při rekonstrukci pozor. Na přelomu října a listopadu 2018 otevřel palác své brány veřejnosti dokořán. Cílem rozsáhlé rekonstrukce bylo nejen vrátit paláci původní vzhled, ale také do něj vrátit život. Dnes jsou součástí paláce různé podniky, včetně hotelu Anybody, Freskového sálu a Vertikální zahrady.
