Das sogenannte „Katzentürmle“ ist der kleinste der ehemaligen Stadttürme und der einzige, der noch erhalten ist. Der Name geht auf seine Funktion als „Karzer“ zurück, also einer Arrestzelle, wie es sie insbesondere an Universitäten und höheren Schulen gab. Ob in Saulgau nur die Zöglinge der Schulen bei Vergehen in den Karzer mussten, ist noch nicht erforscht, ebenso wenig, ob der Turm nicht auch zu Verteidigungszwecken diente – die Schießscharten im unteren Teil deuten darauf hin.
Saulgau wurde sehr früh befestigt; schon 1249 wurde „in burgo sulgen“ beurkundet, was auf eine vorhandene Stadtbefestigung hinweist. Diese bestand aus einem breiten Stadtgraben, dem die Stadtmauer folgte, die an vielen Stellen gleichzeitig die Außenmauer der Häuser bildete. Somit waren die Hausbesitzer für Bau und Unterhalt zuständig. An manchen Stellen, so beim Stadtmuseum, Buchauer Amtshaus, bei der Bogengasse 15 oder der Bäckerei Heim, ist diese Kombination aus Hauswand und Stadtmauer noch erhalten. Teilweise war dem Stadtgraben zusätzlich noch eine niedere Außenmauer vorgelagert.
Die Stadtbefestigung war wohl von Anfang an – auch aufgrund notorischen Geldmangels – von geringer Qualität. Schon 1372 erteilte deshalb Herzog Leopold III. der Stadt das Privileg, ein „Wein-Umgeld“ einzuziehen, also eine Art Getränkesteuer, um Reparaturen an der Mauer bezahlen zu können. In den Statuten der Stadt ist außerdem von Strafen die Rede, die bezahlen muss, wer die Mauer „brychtt“. Jedenfalls scheinen die Saulgauer kein Vertrauen in die Verteidigungswirkung ihrer Stadtmauer gehabt zu haben. Denn 1641 wurde den Riedlingern auf Anfrage mitgeteilt, „... da die Stadtmauer eingefallen sei, wolle und könne man sich nicht im geringsten wehren.“