Počátky osídlení místa, kde se v dnešní Kanovnické ulici 70/4 nachází raně barokní palác, lze dle archeologických, nálezů datovat již do 9. století. První zpráva o zástavbě pak pochází z roku 1370, kdy byl dům zapsán do hradčanských trhových knih. Budovy na místě, kde stojí dnešní stavba, byly několikrát v průběhu historie zničeny požáry a často měnily majitele. V roce 1685 koupil dům Albrecht Václav rytíř Hložek ze Žampachu, purkrabí pražského hradu, který nechal tehdejší renesanční objekt přestavět do dnešní barokní podoby. Rod Hložků ze Žampachu dodnes připomíná erb nad hlavním portálem paláce. Na stříbrném podkladu se nachází černá lovecká trubka se zlatým kováním a černobílou šňůrou.
Po smrti Albrechta Václava vystřídala budova opět několik vlastníků a s nimi proběhla řada změn. Na přelomu 19. a 20. století kupuje nemovitost vydavatel deníku Prager Tagblatt Heinrich Mercy a roku 1923 přechází vlastnické právo na jeho vnučku, Elisabeth Kunigunde Mercy a jejího manžela bankéře Edgara Morawitze. Morawitzové zde podle plánů arch. Viktora Kafky nechali provést rozsáhlé úpravy.
Proběhla adaptace paláce, při které byla opravena štítová zeď domu, byly obnoveny původní malované dřevěné stropy z konce 17. století, a konzervovány kamenné prvky paláce. Vestavěno bylo podkroví se střešními vikýři a v suterénu dvorního traktu byly nově postaveny garáže. Taktéž byla opětovně zřízena opěrná zeď zahrady nad Jelením příkopem. Zahrada pod palácem je velká, upravená a spojená se dvorem monumentálním schodištěm. Všechny místnosti v přízemí v hlavní budově i v křídlech jsou klenuté, stejně jako sklepní prostory.
Elisabeth se roku 1928 podruhé vdala a dům byl roku 1942 převeden na jejího druhého manžela Františka Antonína Nostitz-Reinecka.
Od roku 1946 se budova se stala rezidencí Rakouského velvyslanectví, které zde sídlí dodnes.
V roce 1947 byl podle dekretu prezidenta republiky ze dne 19.5. 1945 palác převeden pod národní správu a v roce 1950 se stává vlastníkem budovy Československý stát. Roku 1955 byl převeden pod Správu služeb diplomatického sboru, dnešního Diplomatického servisu. Budova je nemovitou kulturní památkou zapsanou v památkovém katalogu od roku 1958.
V letech 1939 – 1948 bydlela v domě rodina Jelínkova. Syn průmyslníka Otakar (později Otto) Jelínek se proslavil jako krasobruslař, podnikatel a politik. Rodina emigrovala v roce 1948 do Švýcarska a později do Kanady. Otto spolu se sestrou Marií získali titul mistrů světa sportovních dvojic v roce 1962 v Praze. Po skončení sportovní kariéry se stal členem kanadského parlamentu a v roce 2013-2016 působil v České republice jako mimořádný a zplnomocněný velvyslanec Kanady.
