In der heutigen Stiftstraße 11 ließ der fürstliche Amtsschreiber Ernst Gottlieb Papenhagen im späten 17. Jahrhundert ein zweigeschossiges Wohnhaus errichten. Wie Ernst König 1959 im Bach-Jahrbuch zeigte, fanden im Obergeschoss bis zur Fertigstellung der Kirche die lutherischen Gottesdienste statt. Königs Vermutung, dass Bach ebenfalls in diesem Haus wohnte und mit der Hofkapelle probte, hat sich nicht bestätigt. Fürstin Gisela Agnes erwarb das Gebäude 1721, um Pastor Paulus Berger und seiner Familie ab Ostern eine Wohnung zur Verfügung stellen zu können. Die Fassade des seither als Pfarrhaus genutzten Gebäudes wurde im 19. Jahrhundert klassizistisch überformt.

Die vormundschaftlich regierende Fürstin stiftete 1711 ein Gebäude für adlige lutherische Fräuleins, das Gisela-Agnes-Stift. Bis 1720 entstand östlich des (heutigen) Pfarrhauses in der Stiftstraße 10 ein repräsentatives Wohngebäude, in dem bis 1945 jeweils sechs adlige Fräuleins lebten.