Der Kastenhof war der Zehnthof eines Würzburger Ritterstifts und wurde um 1592 errichtet. Im Jahr 1597 wurden angrenzende Bürgerhäuser gekauft und der Zehnthof erweitert. Auf dem Zehnthof mussten Bauern, die auf den stiftseigenen Feldern wirtschaften, immer den zehnten Teil (der Zehnt) der Ernte als Pacht für die Felder abgeben. Außerdem konnten sie hier ihre Maschinen unterstellen und teils sogar wohnen. Der Zehnthof wurde im Zuge der Säkularisation im Jahr 1803 aufgelöst und kam in privaten Besitz. Danach wurde das Gebäude viele Jahre als Brauerei genutzt, inzwischen ist es einer neuen Nutzung zugeführt worden.