Bereits im Mittelalter standen hier mehrere Gebäude, die als Residenz des Bischofs dienten. Die heutigen Gebäude wurden zwischen 1740 und 1752 im Stil des Spätbarocks errichtet. Das prunkvolle Ostportal wurde 1789 fertiggestellt und erinnert an den Besuch des Papstes Pius VI (*1717, †1799). Die Residenz war jahrhundertelang der Wohnsitz des Augsburger Bischofs. Von hier aus verwaltete der Bischof sein Bistum und das Hochstift Augsburg – sein weltliches Territorium. Im Mittelalter war der Bischof damit auch weltlicher Herrscher in seinem Hochstift. Im Hochstift mussten die hier lebenden Bauern den Zehnt an den Bischof abtreten. Mit der Säkularisation verlor der Bischof sowohl das Hochstift als auch die Residenz. Nachdem die Gebäude an den Staat gefallen waren, richtete Bayern hier im Jahr 1817 die Verwaltung Schwabens ein. Im Inneren sind viele prächtige Fresken aus dem 18. Jahrhundert erhaltengeblieben, weshalb sich ein Blick ins Gebäude lohnt.Der Bereich vor der Residenz wird Fronhof genannt und war zu Zeiten des Hochstifts ein Fest- und Turnierplatz. Er war ein wichtiger Teil der bischöflichen Residenz und entsprechend umzäunt. Hier wurden zwischen 1400 und 1500 um die 45 Turniere anlässlich hohen Besuchs ausgetragen – beispielsweise, wenn der König oder Kaiser kam. Mit der Säkularisation wurde auch dieser Platz staatliches Eigentum, im späten 19. Jahrhundert legte man den heutigen Park an.