Dolní hrad přístupný návštěvníkům je tvořen dvoupatrovou budovou nepravidelné dispozice s obdélným uzavřeným nádvořím. Na jižní straně se nachází původní palác, severní strana je tvořena dlouhou Křižáckou galerií, na východní vstupní straně je situován příčný trakt s jehlancovitou věží v severovýchodním nádvoří. Celý objekt uzavírá úzké západní křídlo s vysokou hranolovitou věží, zakončenou novogotickým cimbuřím, která tvoří dominantu celého hradu. Vnější i vnitřní fasády jsou nečleněné, pokryté sgrafitovou výzdobou. Přístup do hradu umožňuje z východní strany most nad hlubokým příkopem.
Stavba horního hradu byla zahájena před polovinou 13. století. Tento hrad sestával z věže umístěné v nejvyšším místě ostrohu a paláce obehnaného hradbami s příkopem. Do současnosti se dochovala pouze věž zvaná Jakobínka, s kruhovým půdorysem a zakončená krakorci, které původně podpíraly podsebití. Střecha byla nahrazena zděným krytem. Ve třicátých letech 14. století, za Jindřicha III. z Rožmberka, došlo ke zbudování dolního hradu, jehož podoba se v základních rysech dochovala až do současnosti. Roku 1522 vyhořel horní hrad a poté se již k jeho obnově nepřikročilo. V roce 1556 došlo k renesančním úpravám dolního hradu. Jeho fasády byly pokryty sgrafity a změn doznala i vnitřní dispozice hradu. Vznikla také renesanční stavba při hradbách, na jejímž konci byla zbudována brána vedoucí do města. Roku 1600 získal Rožmberk Jan Zrinský ze Serynu, synovec Petra Voka z Rožmberka. Nový majitel nechal provést velkorysé úpravy interiérů v duchu manýrismu. Proslulá je zejména malířská výzdoba Rytířského sálu a přilehlého Hudebního výklenku (Historie malířství v regionu Český Krumlov). Z gotického hradu se stalo reprezentativní renesanční sídlo. K dalším významným úpravám došlo až v letech 1840 - 1857 za Jana Jiřího Buquoye, který pod vlivem romantismu vytvořil z Rožmberka rodové muzeum Buquoyů, nesené v novogotickém stylu. V této době vznikla Křižácká galerie a nové vstupní schodiště a interiéry byly zařízeny historizujícím nábytkem. Dolní hrad od této doby sloužil pouze k reprezentativním účelům a k bydlení byla určena nově postavená obytná budova s hospodářským zázemím a anglickým parkem, situovaná přibližně do místa původního horního hradu.
Nebylo jí pomoci, neboť tehdejší mrav nedovolil, aby žena odešla od muže, byť by s ní nakládal sebeukrutněji.Teprve smrt mužova prolomila mříže jejího vězení. S radostí vrátila se na otcovský hrad, stala se tu jeho dobrým duchem a laskavou ochranitelkou všech trpících. Prožité hoře vepsalo jí do tváří nesmazatelné rysy utrpení, zapudilo navždy z lící jejích smích. Vážná, štíhlá, předčasně uvadlá, majíc zlaté, vlnité vlasy bílou rouškou obepjaté, procházela síněmi a nádvořími hradu, dohlížejíc bratrovi na jeho hospodářství.
Smrt, která ji tu stihla roku 1476 ve čtyřicátém devátém roce jejího života, byla bolestnou ranou nejen rožmberských pánů, nýbrž i chudých celého širokého kraje. Nepřestávali ji oplakávati a brzy vídali ji dále ve svých snech. Bílá paní, jak ji nazývali, zjevovala se na zámku v Českém Krumlově, na Rožmberku, i na ostatních rožmberských hradech v bílém, splývavém šatě, ana s klíči za pasem obchází chodby a síně vstříc budoucí události. Usmívala-li se, bylo to znamení, že se k domu přikloní štěstí. Měla-li černé rukavice a tváře pokryty smutkem, znamenalo to blížící se neštěstí neb smrt.
Bílá paní bděla nad dětmi svých příbuzných a chránila jich všeho zlého. Když chůvy únavou usínaly, brala sama nemluvňata na lokty, hýčkala je a konejšila. Chůvy, které ji znaly, nepřekážely jí nikterak v tomto počínání. Velikou péči věnovala Bílá paní zvláště poslednímu potomku svého rodu Petru Vokovi.
Jednou, když opět chůvy usnuly, přistoupila ke kolébce a mazlila se s malým Petříčkem, aby se nerozplakal. Mezi chůvami byla jedna, která teprve nedávno přišla na zámek a nevěděla nic o Bílé paní. Ta se probudila, a spatřivši Petříčka v rukou cizí, neznámé paní, osopila se na ni: "Co si to dovolujete, bráti do rukou malého Petříčka? Co je vám po tom dítěti?"
Chtěla Bílé paní vzíti dítě, ale ta přitiskla je k sobě a odpověděla jí pohněvaně:"Právem o toto dítě pečuji, neboť je mého rodu. Jak se opovažuješ mně cos vyčítati ?" Obrátila se k služkám, které se hlukem probudily a domlouvala jim: "Proč nekonáte svých povinností, jak se sluší a patří ? Ode dneška mějte si samy dítě na starosti !"
Přistoupila pak ke kojné a pravila jí: "Pečuj o dítě, jak náleží. Až dospěje, vypravuj mu o tom, jak jsem je milovala. A ukaž mu místo, kudy jsem k jeho kolébce přistupovala a opět odcházela."
Když ta slova dořekla, sklonila se nad kolébku, usmála se na dítě, pocelovala je a pak zmizela ve zdi, změnivši se v lehký, bílý oblak.
Od té doby se již na zámku neobjevila.
Když Petr Vok dospěl a uslyšel vzkaz Bílé paní, dal probourati zeď, v níž zmizela. Našel prý v těch místech veliký poklad.
