Počátek jako pevnostní areál
Vévoda Jiří Vousatý nechal mezi lety 1519 až 1529 postavit Zemskou pevnost v Drážďanech. Také čtyři bastiony a první cihelná brána vznikly v této stavební epoše. Již v roce 1545 nechal jeho synovec vévoda Mořic nechat areál opevnit proti dělům a střelným zbraním. Mořicův památník, který dnes můžete spatřit na vnější zdi Panenské bašty, vytvořil v roce 1553 Hans Walther. Poté, co byl nový areál v roce 1555 pod vedením Caspara Voigta von Wierandta dokončen, vznikla zbrojnice. Jeho bratr August a jeho syn Kristián I. přestavěli konečně areál pevnosti s Panenskou baštou a kasematy na pevnost »Nové Drážďany«.
Brühlova soukromá zahrada
Po smrti Augusta Silného převzal jeho syn Bedřich August II. nejen vládu, ale také Jindřicha hraběte z Brühlu jako nejbližšího poradce. V roce 1739 daroval hraběti starý areál pevnosti u Labe. Brühl na něm nechal postavit palác, letohrádek, pavilóny, galerii a zahradu. Dvory bastionu byly zasypány. Návštěva terasy zůstala vyhrazena urozeným hostům. Až na zahrady a budovu Sekundogenitury, která Brühlovi sloužila jako knihovna, se nedochovaly žádné z Brühlových staveb.
Dobytí veřejností
Jako spojenci Napoleona byl král Saska v roce 1814 po Bitvě národů u Lipska zbaven vlády. V Drážďanech dosadily spojené jednotky z Ruska, Rakouska, Pruska a Švédska knížete Nikolaje Grigorjeviče Repnina-Volkonskiho jako generálního guvernéra, který otevřel Velkou zahradu a Brühlovu terasu pro návštěvníky. Jako znamení přístupu pro veřejnost nechal Gottlob Friedrich Thormeyer postavit velké venkovní schodiště. Mezi lety 1868 a 1871 následovalo postavení čtyř skupin soch »Denní doby« Johannese Schillinga na venkovní schodiště k terase. Také Rietschelův památník a památník Gottfrieda Sempera od Johannese Schillinga, budova Akademie umění a galerie Lipsiusbau, přestavba zbrojnice na Albertinum a stržení Knöfelových staveb spadá rovněž do 19. století.
Brühlova terasa dnes
Po zničení Brühlovy terasy při bombardování v roce 1945 byly budovy opět postaveny. Od roku 1990 probíhalo také odstraňování suti v renesančních sklepeních kasemat. Do souboru Zámků a zahrad Drážďany patří od roku 1993.