Klášter se rozkládal kolem čtvercového nádvoří, kdy severní stranu tvořil původní poutní kostel Navštívení Panny Marie, východní stranu tvořil řádový kostel kapucínů a strany jižní a západní tvořily budovy hospice a kláštera. Na východní straně ke kostelu Navštívení Panny Marie přiléhal řádový kostel sv. Františka. Konvent a hospic tvořily jednolitou pravoúhlou budovu s přízemním ochozem. Pokoje kapucínů byly v prvním patře, pokoje pro poutníky v přízemí. Hostinec pro poutníky byl v přízemí hospice. Po uzavření kláštera byl objekt předán k využití Sboru národní bezpečnosti jako součást tábora Mariánská. To v něm zřídilo kárné cely pro příslušníky Sboru, kteří porušili zákon nebo vnitřní předpisy. Nicméně posléze byly prostory změněny na výslechové místnosti SNB a StB. V klášterních celách také byli internováni vězni, kteří uprchli nebo se pokusili o útěk z uranových dolů a jednotlivých táborů. Mezi vězni šlo o jedno z nejobávanějších míst v celé oblasti Jáchymovských dolů. V lodi řádového kostela byla zřízena střelnice (oblíbeným terčem byly sošky andělíčků) a poutní kostel byl změněn na garáže vozidel SNB a později Vnitřní stráže Ministerstva vnitra. V areálu kláštera byl v roce 1951 zřízen centrální psinec pro 300 strážních psů. Běžným topivem potom byly barokní vyřezávané lavice nebo dřevěné části oltářů. Výslechové cely byly umístěny v podzemí kláštera.
V roce 1965 byl zchátralý areál z důvodu že „neslouží svému účelu“ odstřelem demolován.
Fotogalerie: (dobové fotografie (před rokem 2000))
