Zámek založil vévoda Mořic Saský, ale současnou barokní podobu získal za vlády saského kurfiřta a polského krále Augusta Silného
Původní stavbu si nechal postavit vévoda Mořic Saský v letech 1542–1546 jako lovecký zámek v renesančním stylu na vrcholu žulové hory v bažinaté dolině.
V letech 1661–1672, za vlády kurfiřta Jana Jiřího II., byla k zámku přistavěna kaple podle návrhu Wolfa Caspara von Klengela. Kaple obsahuje pískovcovou a štukovou výzdobu, nástropní malby, oltář a lóži pro saského panovníka. Tato původně luteránská kaple začala sloužit ke konání katolických bohoslužeb v roce 1699, dva roky po konverzi Augusta Silného ke katolictví.
Za vlády Fridricha Augusta Silného také došlo k výrazné proměně exteriérů a okolí zámku. Dvorní architekt Matthäus Daniel Pöppelmann vypracoval návrh na přestavbu loveckého zámečku v barokním stylu, v jejímž rámci pak byly původní čtyři bašty zvýšeny, přestavěny na rohové věže a propojeny s renesančním zámečkem, čímž byla vytvořena současná charakteristická podoba. Také byl zřízen nový park a Zámecký rybník, v jehož středu leží ostrov se zámkem. Rekonstrukce skončila v roce 1733, kdy zemřel August Silný.
Od roku 1933 využíval areál princ Arnošt Jindřich Saský jako svoje sídlo a zřídil zde i prostory pro oficiální návštěvy. V roce 1945 byl zámek Wettinům vyvlastněn.