La grande loggia, realizzata nel 1506, si affacciava in origine su un vasto giardino attraverso i sette archi poggianti su colonne marmoree dai bei capitelli corinzi. Posta in posizione centrale nel corpo principale dell’edificio era destinata ad ospitare banchetti, feste e rappresentazioni teatrali per il divertimento del marchese e dei suoi ospiti. I documenti informano che fu decorata da Lorenzo Leonbruno, ma di tale decorazione non resta traccia se si escludono pochi brani scarsamente leggibili nei sottarchi. Sull’ampia stesura muraria della facciata (in origine interamente dipinta come era consuetudine nella tradizione mantovana del Quattrocento) rimane ancora, nell’angolo verso est, parte di una decorazione ad affresco sorprendentemente ben conservata, raffigurante lo stemma marchionale gonzaghesco e due personaggi in costume tardo medievale. La facciata coronata da un cornicione modanato risulta ora animata solo dalla ghiera in cotto a ovuli che accompagna gli archi e da una serie di mensole in marmo destinate a sostenere un ballatoio o forse un tettuccio protettivo.
Davanti alla loggia, superato un grande cortile lastricato, si sviluppavano sino alla vicina Casa del Mantegna, vasti giardini. Le fonti informano in particolare della presenza di siepi potate a disegnare un labirinto, probabilmente un labirinto d’amore. Vi erano inoltre piante di cedri e di aranci. Si ha notizia anche di una fontana il cui sistema idraulico era azionato dal movimento di cavalli. Sappiamo che Francesco II aveva l’abitudine, nei mesi estivi, di pranzare sotto ad un pergolato verde sull’area posta tra il palazzo e il giardino. I documenti parlano anche dell’esistenza nel giardino di un luogo di preghiera; si trattava probabilmente di un piccolo oratorio, qui collocato ipoteticamente accanto al lato ovest dell’edificio principale.