Gegend zu rauh war, verlegten das Kloster ums Jahr 1085 an den Blautopf und stifteten somit Kl. Blaubeuren. Auch nach seiner Verpflanzung ins Blauthal behielt das Kloster noch Besitzungen bei Egelsee bei.
Laut Kaufinstrumentes vom 1. April 1807 erkaufte die Gemeinde Westerheim vom ehemaligen Kirchenrath um 3805 fl. 173 Morg. 11/2 Viertel Ackers auf Egelsee und 8 Morg. 3 Viertel 61/2 Ruthen des s. g. Münzenthal-Wäldleins.
Helfensteinisch wurde ein Burgstall Egelsee nebst dem Dorfe Westerheim im Jahr 1309, als ihn Graf Ulrich von Helfenstein den Herrn von Ehingen abkaufte. (Lünig R. A. XII. 260, vergl. Crusius III. lib. 3. S. 173, wo der Ort Aigelseham geschrieben ist.) Im Jahr 1594 wurde der Bezirk Egelsee zwischen Helfenstein und Württemberg getheilt, so daß der Theil, welcher letzterem zufiel, jetzt zur Markung Feldstetten gehört.
Der Ort Westerheim selbst wird schon in der Stiftungs-Urkunde des Kl. Wiesensteig vom Jahr 861 genannt, und zwar als bereits mit einer Kirche ausgestattet, deren Hälfte dem Kloster Wiesensteig mit andern dortigen Gütern geschenkt wurde (in loco Westerheim medietatem ipsius ecclesiae, Worte des Stiftungsbriefes). – Aus dem Anfange des 12ten Jahrhunderts erscheint ein Waltherus de Westerheim im Güterbuche des Kl. St. Peter (Rotulus S. Petrinus bei Leichtlen, Zähringer S. 88), in teckischen Urkunden kommt als Zeuge vor 29. Sept. 1292, 13. Mai 1295, Ulricus de Westerhaim (Arch. Urk.).
Im Jahr 1329 überließ K. Ludwig der Baier, und im Jahr 1346 K. Karl IV. ein Drittheil des Großzehnten in Westerheim sammt dem Patronat dem Kollegiatstift in Wiesensteig. Im Jahr 1629–30 wurde der ganze Ort durch Verwahrlosung der durchmarschirenden kaiserlichen Kriegsvölker in Asche gelegt; ein gleiches Schicksal erlitt der größte Theil desselben durch Unvorsichtigkeit am 18. Sept. 1688. – Auf der Markung finden sich einige sogenannte Schwedenkreuze.
Christoph Friedrich von Stälin: Beschreibung des Oberamts Geislingen. J. G. Cotta'sche Buchhandlung, Stuttgart und Tübingen 1842, Seite 262. Digitale Volltext-Ausgabe bei Wikisource, URL: https://de.wikisource.org/w/index.php?title=Seite:OAGeislingen_262.png&oldid=- (Version vom 1.8.2018)
