L’avvicinarsi a Milano di Napoleone Bonaparte provoca l’abbandono della città da parte dell’Arciduca Ferdinando I d’Austria. Il 9 maggio 1796 rimangono in Castello solamente 2000 soldati di guardia, con a disposizione 152 cannoni, 3000 quintali di polvere esplosiva, 11000 fucili e 100 bovini. Un gruppo di Milanesi filofrancesi tenta l’attacco dell’odiata fortezza, assimilata alla celebre Bastiglia, ma viene respinto dal generale Lamy e dalla sua guarnigione. A fine giugno tuttavia il Castello è in mano francese. I nuovi occupanti lo destinano ad alloggio di circa 4000 uomini.

L’abbattimento della cittadella stellata attorno al Castello, intrapreso dal 1801, crea intorno all’edificio un grande spazio vuoto, per cui architetti quali Luigi Canonica e Giovanni Antolini elaborano progetti. Si deve al secondo l’idea di una immensa piazza semicircolare, il Foro Bonaparte, ornato di edifici pubblici in forme classiche. Anche per il Castello, destinato a sede del Governo, si prevede un volto classicheggiante e un atrio colonnato. La posa della prima pietra avviene nell’aprile 1801. I lavori si interrompono subito.

La costituzione del Regno Lombardo-Veneto seguita alla caduta di Napoleone riporta a Milano gli Austriaci nel 1815. Il Castello continua a fungere da caserma, mentre lo spazio vuoto retrostante, la Piazza d’Armi, diventa scenario per le rassegne militari.