Über Jahrhunderte bestimmte die Stadtbefestigung die Entwicklung des Grundrisses der Stadt. Nachdem sie um die Mitte des 18. Jahrhunderts ihren militärischen Wert weitgehend verloren hatte, wurden aus städtebaulicher und verkehrsökonomischer Sicht erste Überlegungen zu ihrer Beseitigung angestellt. Die Entfestigung war, wie in vielen anderen europäischen Städten auch, eine wichtige Voraussetzung für das ungehinderte Wachstum Dresdens in der Zeit der industriellen Revolution.
In die Altstädter Befestigung waren bereits in der ersten Hälfte des 18. Jahrhunderts „Breschen“ geschlagen worden. Beim Bau des Zwingers wurden Teile der Bastion Luna (die hölzerne Brücke über den Graben wurde 1715 angelegt) und 1738 beim Bau der Hofkirche und bei der Anlage des Schlossplatzes Teile des Walls westlich der Brücke abgetragen. Anfang 1760 entwarf im Auftrage des Königs der Oberlandbaumeister Julius Heinrich Schwarze einen Plan, der die weitgehende Beseitigung der Festungsanlagen vorsah. Dabei sollten u. a. die Gräben verfüllt und einige innerstädtische Gassen verlängert werden (die Webergasse bis zum Jakobshospital, die Breite Gasse bis zur Gasse Am See, die Schreibergasse bis zur späteren Friedrichsallee, die Rampische Gasse bis zum Zeughausplatz). Aus militärischen Erwägungen heraus wurde der Plan abgelehnt. Nach dem Bombardement Dresdens durch die Preußen im gleichen Jahr legte 1762 der bayrische Hofarchitekt François de Cuvilliés (1695-1768) einen großzügigen Plan für eine vollständige Demolition der Festung vor. Die prekäre finanzielle Situation des sächsischen Staates und der Tod König Augusts III. ließen auch dieses Projekt hinfällig werden.
Erst im Jahre 1809 beschloss, wahrscheinlich auf Veranlassung Napoleons I., die Regierung, die Befestigungsanlagen abzutragen. Mit etwa 1.000 Arbeitern (Frondienste der Landbevölkerung) begannen am 20. November des gleichen Jahres an verschiedenen Stellen gleichzeitig die Abbrucharbeiten. Die Leitung des Unternehmens lag in den Händen des Geheimen Finanzkollegiums. Ein genauer Plan für die Demolition sollte erst später von einer entsprechenden Kommission erarbeitet werden. Rasche Fortschritte machten die Arbeiten in der Neustadt, da dort die Wälle alle im Besitz des Staates waren.
Die Wälle der Altstadt hingegen waren seit Mitte des 18. Jahrhunderts zu einem großen Teil in der Hand von Privatpersonen, die sich auf ihnen Gärten angelegt hatten. Diese Besitzverhältnisse erschwerten die Entfestigungsarbeiten. Die Brühlsche Terrasse nahm man wegen ihrer Schönheit von vornherein von der Entfestigung aus und schlug bereits damals die Anlage einer Freitreppe vor. Im April 1812 wurden alle Arbeiten eingestellt. Im Kriegsjahr 1813 kam es sogar zur Anlage einiger neuer Befestigungen. Im April 1817 setzte das Geheime Finanzkollegium zur Fortsetzung der Entfestigung eine „Demolitionskommission“ ein, der u. a. auch der Architekt Gottlob Friedrich Thormeyer angehörte. Thormeyer spielte eine maßgebliche Rolle bei der Bebauungsplanung für die freiwerdenden Flächen. Noch im gleichen Jahr wurden die Abbrucharbeiten in der Neustadt wieder aufgenommen. An die Stelle der Festung trat dort bis 1824 eine Accismauer. Mit den Arbeiten in der Altstadt begann man wieder 1818. 1829/30 war die Entfestigung insgesamt abgeschlossen.
Heute noch sichtbare Reste der Stadtbefestigung sind außer der Brühlschen Terrasse noch Teile der o. g. Bastion Luna am Zwinger und Reste der Bastion VI der Neustädter Befestigung im Palaisgarten.