Annaberg je prvním částečně plánovitě založeným horním městem v horní části Krušných hor. Vyznačuje se mimořádným městským půdorysem a bohatou městskou architekturou.

V roce 1496 začala plánovitá výstavba „Nového Města na Schreckenbergu“, které později získalo jméno St. Annaberg – Hora Svaté Anny. Impulzem pro vznik osídlení se staly stříbrné rudy, jež byly nalezeny v roce 1491 na blízkém vrchu Schreckenbergu a poté i přímo pod městem. Během následující „velké báňské horečky“ nastal velký příliv obyvatel – horníků, řemeslníků, námezdních dělníků, který trval až do 16. století. Z Annabergu se tak po Freibergu stalo druhé největší město Saska.

Příjmy plynoucí z mnoha výnosných dolů v okolí města umožnily výstavbu důležitých církevních a světských budov. K významným objektům města Annaberg patří zejména stříbrný důl Im Gößner, pozdně gotický sálový kostel sv. Anny, hornický kostel sv. Marie, radnice a honosné měšťanské domy.

Ve městě působily významné osobnosti spojené s hornictvím, například matematik Adam Ries, mincmistr Lazarus Ercker nebo členové rodiny důlních podnikatelů Uthmannů.

Důl Im Gößner

Důl Im Gößner, vzniklý kolem roku 1500, se nachází pod historickým jádrem Annabergu, přímo naproti kostelu sv. Anny. Od roku 1995 jsou úzké chodby dolu, do nichž se vchází šachtou na nádvoří muzea, přístupné veřejnosti. V podzemí se dochovaly působivé šachty o hloubce 24 m, návštěvnická trasa zahrnuje 260 m chodeb sledujících rudní žíly a také překopy, které jsou ve dvou úrovních spojeny slepými šachtami.

Kostel sv. Anny

Městský kostel sv. Anny, postavený v letech 1499–1525, je jednou z nejvýznamnějších pozdně gotických staveb v Sasku. Na oltářích a v různých konstrukčních prvcích jsou již rozpoznatelné projevy renesance. Pozoruhodný je portál do staré sakristie, který byl postaven v roce 1518 a je jedním z nejstarších renesančních portálů v Sasku. Po rozsáhlých úpravách získal kostel sv. Anny opět svůj původní vzhled z 16. století. V interiéru se dochovaly četné epitafy, z nichž některé patří známým osobnostem hornického prostřední. Nachází se zde také hornický oltář, který namaloval Hans Hesse v letech 1522/23 a jehož zadní strana zobrazuje hornickou krajinu Krušných hor a hornický život té doby.

Hornický kostel sv. Marie

Hornický kostel sv. Marie, postavený v letech 1502 až 1511, se nachází na severozápadní straně hlavního náměstí. Jde o jediný kostel v saském Krušnohoří, jehož stavba byla financována výhradně hornickým bratrstvem. Až do ukončení těžby v annaberském revíru sloužil pro pobožnosti horníků a hornické mše. Současná podoba kostela sahá pochází z roku 1736. Pozoruhodný historický inventář kostela zahrnuje hornickou kazatelnu a lavici hornického bratrstva.

Městské hradby

Opevnění historického jádra Annabergu, které bylo postaveno v letech 1503–1540, sestávalo z přibližně 2,5 km dlouhých hradeb se sedmi branami a 19 věžemi. Z hradeb se dodnes zachovaly delší úseky a některé obranné věže.

Ruiny františkánského kláštera

Bývalý františkánský klášter byl postaven v letech 1502–12, už v roce 1539 byl sekularizován. V roce 1577 byla brána tehdy již zchátralého klášterního kostela nazvaná „Schöne Tür“ přemístěna do kostela sv. Anny. Hlavní oltář klášterního kostela se dnes nachází v kostele St. Katharinenkirche v Buchholzu. Z kláštera se zachovaly pouze malé zbytky.

Radnice

Velká radnice na severovýchodním rohu náměstí je jednou z nádherných světských budov horního města. Byla postavena v letech 1535–1538 a následně několikrát poničena požáry. Částečně byla přestavěna v polovině 18. století. Pozoruhodné jsou zejména zejména klenby v přízemí a zrekonstruovaná místnost perkmistra.

Horní úřad

Horní úřad je třípodlažní řadový dům v ulici Große Kirchgasse s fasádou v barokním stylu. V chodbě se zachovaly původní klenby.

Dům Adama Riese

V tomto malém dvoupodlažním řadovém domě, postaveném v letech 1496/97, bydlel matematik Adam Ries (1492–1559), který položil základy hornického účetnictví a moderní algebry. V 16. století zde sídlila i počtářská škola. Od roku 1984 je dům využíván jako muzeum.

Dům Lazara Erckera

Jde o velký zděný dvoupodlažní městský dům se základy nejpozději z 16. století. Nejvýznamnějším majitelem tohoto domu byl annaberský rodák Lazarus Ercker (kolem 1528 – 1594), který později pracoval jako prubíř v Drážďanech a mincmistr v Kutné Hoře a Praze a stal se dokonce nejvyšším perkmistrem Českého království. Jeho příspěvky o prubířství rud se staly základními texty o metalurgii, které byly užívány až do 18. století.

Hostinec Wilder Mann

Budova byla postavena v roce 1507 jako sídlo volebního horského a mincovního mistra Albrechta von Schreibersdorf. Od roku 1604 slouží jako hostinec. V 18. století byl sloučen se sousední budovou.