Il castello di Fanano era protetto da una cinta muraria composta da due torri. La torre del Poggiolo era un punto di riferimento per i pellegrini che si spostavano fra la Lombardia e la Toscana, questo grazie alla sua mola. Essa fu costruita a pianta quadra e ricostruita nel 1600, ma fu distrutta dal terremoto avvenuto nel 1741. La torre di San Rocco serviva per controllare gli accessi alla città, nel 1609 in essa fu inserito un orologio. Nel 1630 a seguito della peste, a pian terreno, fu istituito l’oratorio.
Palazzo Lardi è posto lateralmente alla torre dell’orologio, la struttura è divisa in tre piani e presenta un doppio ordine di finestre inserite nella decorazione a bugnato. Qui venne ospitato Cosimo de Medici esiliato lontano da Firenze.
