Queste terre furono acquistate dagli Estensi nel ‘300, ponendo una striscia di confine fra il ducato di Modena e il fiume Po, oltre il quale si annidavano i nemici. Qui vi si costruì una fortezza, opera di Bartolomeo Ploti da Novara, che iniziò i lavori nei primi del ‘400, il progetto prevedeva una base quadrangolare con quattro torri angolari, con mura spesse più di un metro sormontate da un camminatoio di ronda. I lavori però furono talmente onerosi che gli Estensi dovettero aumentare le tasse facendo scoppiare una rivolta popolare. Nel XV sec. il borgo si trasformò divenendo centro per floridi commerci come quello della lana e del cuoio. Al castello di Finale vi soggiornò Papa Eugenio IV. Con il passare del tempo la struttura si deteriorava e i ripetuti appelli per far partire i restauri non vennero mai ascoltati, nemmeno quando a chiederlo erano gli stessi capitani che governavano sulla città. Tuttavia nel 1540 i lavori di recupero iniziarono e questo nuovo impulso diede il via alla costruzione di nuove opere come il Palazzo delle Saline e l’ospedale degli infermi. Durante il corso del ‘700 il castello fu abbandonato divenendo infine un carcere. Nel 1864 divenne di proprietà del comune, e proprio sul finire dell’800 il corso del Panaro fu deviato con un opera mastodontica, questo fece si che le acque del fiume non bagnassero più il castello, che si vide quindi attorniato solo da terra. Durante la seconda guerra mondiale nel castello trovarono rifugio delle famiglie sfollate, questo naturalmente uccellerò il deterioramento della struttura.
Negli anni ’80 fu presentato un progetto di rivalutazione della struttura con la ristrutturazione del castello, e la creazione al suo interno di una biblioteca, del Museo Civico e di alcune sale mostre, ma anche qui ci furono problemi per la realizzazione.
Si pensa che ancora esista un corridoio che metta in comunicazione il palazzo con la residenza di Obizio III d’Este a Obici, le dicerie si mescolarono alla leggende e poi alle prigioni del Diavolo dove durante la notte per i corridoio del carcere si udivano rumori di catene e lamenti raccapriccianti.
Nel ‘300 a Finale fu costruita la torre detta dei Modenesi, la quale aveva funzioni militari e di fortificazione, e successivamente si tramutarono le esigenze, passando da quelle militari a quelle di intrattenimento, in oltre fu trapiantato in essa un orologio che al principio apparteneva ad un altra torre che fu distrutta, questo le valse il nome di “Torre dell’orologio”, a questo fu aggiunta una lanterna nella quale fu collocata una campana che risuonava per allertare la popolazione della piena del Panaro oppure di incendi. Purtroppo la torre cadde in disgrazia e fu venduta alla comunità di Finale nel 1756. Nella II guerra mondiale la torre fu danneggiata da una bomba che colpì la lanterna, distruggendo la campana fusa nel ‘700. I restauri furono avviati nel ’49 che si protrassero sino al 1981.