Zámek Schwarzenberg byl centrem vrchnostenské a zemské správy těžby cínových a železných rud v západním Krušnohoří a dokládá i úzké propojení s původně saskými horními městy Horní Blatná a Boží Dar. Hrad byl založen kolem roku 1150, písemně je prvně zmíněn v roce 1212. S využitím části původní stavby byl v letech 1555 až 1558 postaven kurfiřtský lovecký zámek se třemi křídly. Na jihozápadě se nachází donjon, jehož spodní část pochází z 12. století, na východě palác a na jihu spojující budova. Další přestavby a přístavby proběhly v 19. století. Budovy zámku jsou dnes využívány jako kulturní centrum a muzeum, působí zde také lidová škola umění, lidová vysoká škola a hudební škola.