Ludwig V. ließ 1510 den heutigen Marstall direkt am Neckar bauen.
Der Name Marstall geht auf einen 1693 zerstörten Renaissancebau an der Südseite des Hofes zurück, den Pfalzgraf Johann Casimir 1590 errichten ließ. Heute befinden sich in dem mehrfach umgebauten Marstallkomplex - einer der wenigen aus dem Spätmittelalter erhaltenen Bauten Heidelbergs – die zentrale Altstadt-Mensa sowie Veranstaltungsräume und die Verwaltung des Studentenwerks.
Östlich des Marstalls erhebt sich der in Bruchsteinmauerwerk errichtete Bau der Heuscheuer. Auch dessen Ursprünge liegen in der Stadtverteidigung. Hier stand im Mittelalter der Mantel- oder Frauenturm der nordwestlichen Eckbastion. Nach der Zerstörung 1693 entstand das mit einem barocken Krüppelwalmdach bedeckte Lagergebäude, das bis 1824 das Heu für den benachbarten Marstall aufbewahrte und später als städtisches Lagerhaus diente. 1963-65 wurde die Heuscheuer zu einem Hörsaalgebäude der Universität ausgebaut.