Alla fine del Settecento l'antica fortezza subisce gravi danni quando, in seguito all'assedio napoleonico, i cittadini ne mutilano i torrioni e ne scalpellano gli stemmi sforzeschi. In ultimo, Napoleone decreta la demolizione delle strutture esterne, destinando l'antico Castello ad alloggio per le truppe: le sale affrescate al piano terreno della Corte Ducale sono addirittura adibite a stalle.
