Herzog Johann Ernst III. von Sachsen-Weimar ließ 1702–1704 nördlich des Roten Schlosses mit dem zweigeschossigen Gelben Schloss eine weitere Schlossanlage errichten. Die Pläne lieferte Baumeister Johann Mützel, der 1709 das heutige Goethe-Haus am Frauenplan erbaute. Die herzogliche Absicht hinter dem Bauvorhaben, das während Bachs erstem Weimar-Aufenthalt realisiert wurde, ist nicht eindeutig geklärt, vermutlich plante er seinem Sohn Ernst August I. (aus der ersten Ehe mit der 1694 verstorbenen Sophie Auguste von Anhalt-Zerbst) das Rote Schloss zu überlassen und sich mit seiner zweiten Gemahlin, Herzogin Charlotte Dorothea Sophia in das Gelbe Schloss zurückzuziehen. Deren Initialen CDSDSLHH („Charlotta Dorothea Sophia Dux Saxoniae Landgrafia Hasso-Homburgiae“) sind in Form verzierter Eisensplinte in den Zugankern an der Fassade zum Grünen Markt wieder angebracht, während die kürzere Fassade an der Kollegiengasse vier Splinte in Zahlenform („1 7 0 4“) enthält.
Beim Wiederaufbau des im April 1945 stark beschädigten Gebäudes wurde das Innere verändert und das einstige Portal am Grünen Markt zu einem Fenster umgestaltet. Darüber halten zwei gekrönte (aber wenig kunstvolle) schwarze Löwen unter einem Königshut das Monogramm der Herzogin, die das Schloss bis zu ihrem Tod am 29. August 1738 bewohnte. Gemeinsam mit dem Roten Schloss wurde die Anlage 2002–2005 aufwendig zum Studienzentrum der Herzogin-Anna-Amalia-Bibliothek mit unterirdischen Magazinräumen umgebaut und mit der Bibliothek im Grünen Schloss verbunden.

Die Musik war im Gelben Schloss auch in Form dekorativer Stuckelemente vertreten. Im Nebenzimmer des Speisesaals im Obergeschoss stellten Stuckaturen unter anderem die Weisheit, den Gesang und den Ruhm dar. Das Gelbe Schloss gehörte 1708–1717 zu Bachs Dienstorten, denn hier musizierte er mit der Hofkapelle Herzog Johann Ernst III. und pflegte ausweislich der Rechnungsbücher mindestens zwischen dem 9. Dezember 1709 und dem 6. Februar 1710 die Kielklaviere (Dok II Nr. 49). Gemeinsam mit dem im Juli 1707 bestallten Weimarer Stadtorganisten Johann Gottfried Walther erteilte er Prinzessin Johanna Charlotte von Sachsen-Weimar (1693–1751) sowie ihrem jüngeren Halbbruder, dem musikalisch hochbegabten Prinzen Johann Ernst IV. (1693–1715) Musikunterricht. Während Johann Sebastian Bach fünf Konzerte des Prinzen für Tasteninstrumente bearbeitete (BWV 592, 595, 982, 984, 987), widmete ihm Johann Gottfried Walther zum Namenstag am 13. März 1708 die handschriftliche Praecepta der Musicalischen Composition.
Der Prinz starb am 1. August 1715 im 18. Lebensjahr in Frankfurt am Main und wurde in Bad Homburg, dem Familiensitz der mütterlichen Linie, beigesetzt. Für den Gedächtnisgottesdienst am 2. April 1716 in der Weimarer Schlosskirche berichten die Akten von der Aufführung einer Kantate Was ist, das wir Leben nennen, die Johann Sebastian Bach und seinem Weimarer Textdichter Salomo Franck zugeschrieben wird (BWV 1142). Eine zwei Tage später verbuchte Auszahlung von 45 Gulden 15 Groschen an Franck, Bach, den Buchdrucker und weitere Hofbediente „vor praesentirte Carmina“ könnte daher mit dem Trauergottesdienst in Verbindung stehen (Dok II, Nr. 77).