První písemná zmínka o Hrádku pochází z roku 1312, ale předpokládaný původ budovy je starší a je spojován se samotnými počátky města. Původně gotická tvrz se nachází na terase nad údolím řeky Vrchlice. Palác představuje jednu z dominant v panoramatu města a jedná se o jeden z nejvýznamnějších areálů historického jádra Kutné Hory, spolu s ohradními a opěrnými zdmi a s těžním strojem, který se nachází v přilehlé zahradě. Areál Hrádku je situován v historické zástavbě města, v jeho nejvýznamnější části, na trase spojující střed města s chrámem sv. Barbory, a je tvořen vlastním palácem, mohutnou patrovou budovou čtyřkřídlé dispozice s vnitřním uzavřeným nádvořím, a zahradou. K zásadní přestavbě objektu došlo na přelomu 15. a 16. století, kdy byl přestavěn na patricijský palác, a v roce 1620, kdy bylo dostavěno jižní křídlo. V roce 1684 byl Hrádek prodán jezuitskému řádu. Nejprve zde sídlil seminář a až do zrušení řádu v roce 1773 pak i školy nebo učitelský ústav.

Počátkem 20. století odkoupilo Hrádek město, které zde chtělo vybudovat hornické muzeum, což se však podařilo až po rekonstrukci z let 1952–1959. Další zásadní a rozsáhlá záchrana památky byla provedena v roce 1999. Od roku 1996 zde sídlí České muzeum stříbra. Návštěvníkům expozice přibližují geologii kutnohorského rudního revíru, bouřlivý rozvoj Kutné Hory po objevu stříbra až po výstavné královské horní město, druhé nejvýznamnější v království. V areálu se také nachází vstup do středověkého stříbrného dolu.

Monumentální objekt se složitým stavebním vývojem je památkově chráněn od roku 1958 a od roku 1995 je pak plošně chráněn jako součást světového dědictví UNESCO.

Rekonstrukce střech Hrádku probíhá v několika etapách od roku 2018. Spočívá v tesařských sanacích, ve výměně dožilé krytiny (břidlice) a klempířských prvků a opravách komínů.