La parte destinata a residenza ducale è preceduta dal portico costruito dall’architetto toscano Benedetto Ferrini nel 1473, detto “dell’elefante” per l’affresco ancora oggi riconoscibile. Se si guarda la parete adiacente, si scorgono tracce delle zampe di un altro maestoso animale, probabilmente un leone. Gli appartamenti ducali, dimora dal 1468 di Galeazzo Maria Sforza, si estendevano al piano terra e al primo piano, collegati da una scala a gradini bassi, che permetteva allo Sforza di salire agli appartamenti superiori a cavallo.