Wilhelm von Montfort, der hier in den Jahren 1332–1343 wieder eine Burg baute. Sie galt lange für eine bedeutende Veste, und noch im dreißigjährigen Kriege stritten bald Freunde und bald Feinde um ihren Besitz. Gegen das Ende des Kriegs 1647 rückten die Schweden unter General Wrangel vor die Veste, der Kaiserliche Commandant verließ sie feiger Weise, und wurde dafür zu Lindau enthauptet. Die Schweden, welche die Veste jetzt in Besitz nahmen, blieben darin bis zum 15. September 1649. Eine während dieser Zeit von ihnen angelegte Schanze, die aber jetzt in ein Gärtchen umgeschaffen ist, heißt noch die Schwedenschanze. Noch im Spanischen Erbfolgekrieg spielte das Schloß Argen eine Rolle; 1703 rückten die Bayern vor dasselbe, zogen aber wieder ab, als sie es von den Reichstruppen besetzt fanden. Ums Jahr 1720 ließ Graf Anton von Montfort die Festungswerke abbrechen, das Schloß aber „so von dem tobenden See ziemlich übel zugerichtet und ruinirt worden war,“ neu herstellen. Sein Nachfolger, Graf Ernst setzte das Werk weiter fort, er legte insbesondere, dem Schloß gegenüber, einen prächtigen Garten an, welcher mit einer auserlesenen Orangerie und den seltensten Gewächsen geschmückt war, baute eine schöne Schloßbrücke, die er 1735 mit den kostbaren Bildsäulen des heil. Nepomuks und des heil. Nicolaus zierte, und schuf so vollends Langenargen zu einem der reizendsten Sitze um, wo die glänzendsten Hoffeste gefeiert wurden. Die Berichte aus jener Zeit rühmen insbesondere das Fest, das Graf Ernst 1744 zur Feier des Namenstags seiner Gemahlin gab. „Schon am Vorabend des Festes wurde ein 3 Stunden langes Feuerwerk auf 3 Schiffen in dem See abgebrannt, an dem Fest selbst aber wurde in dem reichgeschmückten Saale der Kapuziner Tafel gehalten, „wobei sonderbar ein in dem Saal artlich angelegtes Lustgärtlein, in dessen Mitte ein angenehm „strudlendes, bis an die Bühne aufwallendes Spritzbrünnlein sich repräsentirte, zu sehen war.“
Johann Daniel Georg von Memminger: Beschreibung des Oberamts Tettnang. Stuttgart und Tübingen: J. G. Cotta, 1838, Seite 193. Digitale Volltext-Ausgabe bei Wikisource, URL: https://de.wikisource.org/w/index.php?title=Seite:Oberamt_Tettnang_193.jpg&oldid=- (Version vom 1.8.2018)
