Der Herzogin Garten ist eine historische Gartenanlage, die seit Kriegsende brach liegt.
Seit der Deutschen Wiedervereinigung gab es mehrfach Planungen für eine Bebauung des Grundstücks. Nachdem keiner der Pläne umgesetzt wurde, strebt die Baywobau, die bereits zwei Neumarktquartiere wiedererrichtet, den Baubeginn von Mietwohnungen auf dem südlichen Teil des Grundstücks zum Herbst 2013 an. Im Juni 2013 wurde veröffentlicht, dass eine Erbengemeinschaft der Wettiner ihren Grundstücksanteil an den Unternehmer Reinhard Saal verkauft hat, der zuvor schon die insolvente Schiffswerft Laubegast erwarb. Anstelle eines nicht verwirklichten Vier-Sterne-Hotels, dessen Eröffnung für das Jahr 2009 geplant war, sollen dort ab dem Frühjahr 2014 ebenfalls Mietwohnungen entstehen, zudem wird der Wiederaufbau der Orangerie nach historischem Vorbild als Kunstgalerie erwogen.
Der den Garten jahrzehntelang prägende Baumbestand wurde 2013 beseitigt.