Il Castello Savelli-Torlonia è un’imponente struttura di origine medievale, costruita per la difesa di Palombara Sabina. Costruito sulla cima più alta del rilievo su cui poggia il centro abitato, le prime notizie della costruzione di questo castello risalgono al registro sublacense che lo cita nel 1064. Il primo nucleo originale, a pianta quadrata, è opera degli Ottavini. Fu proprio in questo castello che venne arrestato nel 1180, l’antipapa Innocenzo III. Tra il XII ed il XIV secolo molte furono le modifiche apportate alla struttura che venne ampliata intorno all’originale torre medievale che ancora oggi si innalza sul borgo di Palombara. Nel XIV secolo il castello diventa sede di un tribunale istituito dai Templari, mentre gli vengono apportate profonde modifiche nel corso del secolo successivo.
Nonostante i diversi interventi il castello ha mantenuto un aspetto sostanzialmente uniforme dato dalla coerenza nell’uso dei materiali. I Savelli, che danno al Castello l’attuale nome, ne entrarono in possesso alla metà del XIII secolo, acquistandolo dai conti di Palombara, e ne rimasero i signori fino alla discesa di Carlo VIII in Italia, quando si allearono con i Colonna contro gli Orsini e incendiarono Palombara per non farla cadere in mani nemiche, al termine del conflitto il papa Alessandro IV confiscò il feudo dei Savelli, consegnandolo agli Orsini. I Savelli ne tornarono in possesso alcuni anni dopo e ricostruirono il castello decorando le stanze private e la cappella. Nei secoli successivi passò ai Farnese, ai Torlonia e agli Sforza- Cesarini. Dal 1971 è un centro culturale di proprietà del comune di Palombara Sabina.