Il palazzo dei Malaspina fu trasformato nel XVI sec. , inglobando il preesistente castello, realizzando il cortile interno e le logge. Con l'estinzione della casata nel nel '400, la proprietà passò ai duchi di Modena. Sul finire del '700 qui fu collocata l'Accademia di Belle Arti.

Il palazzo cinquecentesco era un tempo la residenza dei Cybo Malaspina, l’edificio nel suo ampliamento inglobò al suo interno il maschio de castello medioevale. L’edificio continuò le sue modifiche sino al ‘700. Nel XIX sec. l’edificio fu donato da Elisa Bacciocchi all’Accademia di Belle Arti. Nel cortile del palazzo sono esposte opere di epoca romana e medioevale, fra queste anche dei bassorilievi romanici raffiguranti gli dei dell’Olimpo.