Il Palazzo dell'Orologio, composto da due torri unite da un passaggio risale al XVII sec. ad opera del Vasari, l'edificio al principio aveva la funzione di infermeria dei cavalieri. La torre di destra è ricordata per essere stata la prigione nel 1289 del capitano del Popolo Ugolino della Gherardesca, oltre che della sua famiglia, colpevole di tradimento. La facciata un tempo era affrescato con la raffigurazione del buon governo, su ispirazione dell'attuale governo di Cosimo de Medici. Sul finire del '600 fu collocata la torretta dell'orologio, che in origine era collocata sulla chiesa di Santo Stefano dei Cavalieri. Oggi l'edificio ospita la biblioteca della Scuola Normale di Pisa.