Bis ins Jahr 1900 stand an dieser Stelle der Afraturm. Es war der letzte mittelalterliche Wohnturm Augsburgs. Im 13. oder 14. Jahrhundert wurde der Turm von einem reichen Patrizier errichtet und lag sehr zentral am Rathaus. Im Mittelalter waren die wenigsten Gebäude aus Stein – Holz war damals ein viel günstigeres Baumaterial. Um 1900 wurden der Turm und weitere Gebäude auf dieser Platzseite abgerissen. Stattdessen entstand das damalige Polizeigebäude im Stil des Historismus. Nach den Zerstörungen des Zweiten Weltkrieges wurde der Bau vereinfacht wiederaufgebaut.