Nel 1332 gli Estensi, alleati ai Gonzaga e ai della Scala contro i Pio, assediarono San Felice e la conquistarono. Nel ‘300 il complesso fortificato era composto solo dal mastio e da un perimetro quadrangolare di mura quindi non fu difficile espugnarlo.
Il feudo fu ceduto e successivamente comprato, finendo da prima nelle mani papali, dei Pio, dei Savoia ed infine degli Estensi. Tra il XV e il XVI sec. furono effettuate varie restaurazioni, con la edificazione di nuove fortificazioni. Tra il ‘600 e il ‘700 la rocca venne lasciata nel degrado, a causa anche del modo in cui la guerra si combatteva, visto che sul campo di battaglia entravano in gioco nuove macchine da guerra, che sostituirono la fanteria e la cavalleria. Le mura esterne furono abbattute e il fossato venne riempito, sopra il quale furono edificarono dei piccoli negozi. Delle quattro torri originarie, ne rimangono solo 3 a difesa del borgo, in quanto quella a sud-est fu abbattuta per far passare il tratto ferroviario Bologna- Brennero.
