Bruders, des Cardinals Christian August 1715, zum Katholicismus übertrat. Da das Domkapitel zu Naumburg die Administratorwürde des Herzogs Moritz hierdurch für erledigt erklärte wurde die Verwaltung des Stifts vom König August übernommen und Herzog Wilhelm der zu Weida lebte, empfing jährlich 35,000 Gülden. Mit des Herzogs Tode erlosch (1718) die Linie Sachsen-Zeitz, deren Besitzungen, wobei auch das Voigtland, fielen an das Churhaus zurück und mit Ausnahme des Neustädter Kreises der 1815 an Weimar und der Stadt Gefell, die an Preussen abgetreten wurde, sind alle diese Gebietstheile bis jetzt dabei geblieben.
Das Schloss Voigtsberg liegt auf einem Berge, eine Viertelstunde von Oelsnitz entfernt, und muss einst eine äusserst starke Veste gewesen sein, denn es war mit einer gewaltigen Mauer umgeben, hatte Wälle und Gräben und konnte nur durch die Gewalt des Pulvers gefährdet werden. Noch sind die schweren Rollen sichtbar, welche zum Aufheben und Niederlassen der Zugbrücke dienten, und der hohe dicke Wartthurm, der wol schon fast ein Jahrtausend die weite Umgegend überschaut, sicherte das Schloss vor jähem Ueberfall. Die Burg war in den frühesten Zeiten der Sitz eines Voigtes, später aber finden wir auf Voigtsberg auch adlige Untervoigte, wie 1317 den Ritter Otto von Bergaw, und im siebzehnten Jahrhundert hielt sich Churfürst Johann Georg I. wegen der Jagd und einiger Zusammenkünfte mit dem Markgrafen von Baireuth bisweilen hier auf, woher der grosse Saal des Schlosses der Fürstensaal genannt wurde, doch hat man denselben neuerdings in Wohnzimmer umgestaltet. Von 1569 an verwalteten das Amt Voigtsberg churfürstliche Schösser, die auf der Burg ihren Wohnsitz hatten. Im linken Flügel des Schlosses befindet sich die Expedition des königlichen Justizamtes und im Vorhofe steht ein 1821 errichtetes Rentamtsgebäude, welches ebenfalls einigen Beamten zur Wohnung dient. Im Schlosse befand sich vor Zeiten eine dem heiligen Georg gewidmete Kapelle, worin der Kaplan, der Baccalaureus und der Organist aus Oelsnitz den Gottesdienst besorgen mussten.
Die Erbauung des jetzigen Schlosses Voigtsberg fällt mit Ausnahme des weit älteren Wartthurmes in die Zeit von 1390 bis 1405, doch mag noch später, und namentlich im sechszehnten Jahrhundert viel daran gebaut worden sein. Als die Hussiten 1430 das Voigtland mit Mord und Brand erfüllten, versuchten sie auch das Schloss Voigtsberg in ihre Gewalt zu bringen, aber vergeblich, deshalb liessen sie ihre Wuth den umliegenden Dörfern fühlen und stürmten die Stadt Oelsnitz, welche gänzlich eingeäschert wurde. Im dreissigjährigen Kriege, als der General Holk mit seinem Gesindel das unglückliche Voigtland heimsuchte, öffnete ihm das Schloss Voigtsberg ohne Widerstand die Thore, worauf die Croaten dasselbe gänzlich ausplünderten, in Brand steckten, und dadurch namentlich alle älteren Urkunden vernichteten. Ein trauriges Schicksal traf auch das nahe Oelsnitz, indem die Holkischen hier auf das Unmenschlichste wütheten und müde von Mord und Plünderung endlich die Stadt an allen vier Ecken anzündeten, so dass von sämmtlichen Gebäuden nur die Mädchenschule stehen blieb. Im Jahre 1638 brach im Schlosse Voigtsberg abermals eine Feuersbrunst aus, die namentlich an Wohnzimmern und Dächern grosse Zerstörungen anrichtete.
Am Fusse des Schlossberges liegt das Dorf Voigtsberg, bestehend aus achtundsiebzig Häusern mit etwa sechshundert Einwohnern. Unter den Häusern befinden sich drei sogenannte Burggüter, aber keine eigentlichen Bauergüter, und die Bewohnerschaft nährt sich grösstentheils von Zeug-, Leinen- und Baumwollenweberei. Eines der drei Burggüter zu Voigtsberg besass im sechszehnten Jahrhundert der Rath zu Oelsnitz, der es später durch Bedrängnisse veranlasst an Joseph Engelschall verkaufte. Im Jahre 1542 standen die Einwohner und Güter des Ortes unmittelbar unter der Botmässigkeit des Schlosses Voigtsberg, zu dem damals auch ein Vorwerk gehörte das in genanntem Jahre dreissig Scheffel Korn, einundzwanzig Scheffel Gerste und dreissig Scheffel Hafer zur Aussaat bedurfte und fünfundfunfzig Fuder Heu und Grummet gewann. Nahe beim Dorfe befinden sich eine Ziegelei und ein Forsthaus, die nahe Waldung aber, der Hain genannt, war vor länger als einem Jahrtausend ein heiliger Wald, wo Sorbische Priester dem Swantewith geheimnissvolle Opfer brachten. In Voigtsberg befindet sich ein neuerbautes Schulhaus, eingepfarrt sind Schloss und Dorf in die St. Jacobskirche zu Oelsnitz.
Gustav Adolf Pönicke (Hrsg.): Album der Schlösser und Rittergüter im Königreiche Sachsen V. Section. Expedition des Ritterschaftlichen Album-Vereins, Leipzig 1859, Seite 62. Digitale Volltext-Ausgabe bei Wikisource, URL: https://de.wikisource.org/w/index.php?title=Seite:Album_der_Schl%C3%B6sser_und_Ritterg%C3%BCter_im_K%C3%B6nigreiche_Sachsen_V.djvu/94&oldid=- (Version vom 7.1.2017)
