La storia del complesso inizia quasi mille anni fa, quando era una semplice costruzione fortificata a picco sul lago, in mano ai Conti di Tuscolo. Nel XIII secolo il feudo passò ai Colonna, poi agli Orsini, ai Cenci, poi di nuovo ai Colonna. Il castello si articolava attorno alla Torre Maggiore o Saracena (tuttora esistente), che risale al periodo dei Cenci, ma che fu certamente impiantata su una struttura almeno cent’anni più antica. Da una pittura quattrocentesca su una parete del romitorio di San Michele Arcangelo, risulta che all’epoca il castello fosse ormai costituito dall’alta torre centrale e da altre due torri più piccole ai lati, unite da un muro nel quale si apriva il portale d'ingresso. La Torre Esterna è l’unica oggi rimasta delle due torri laterali. Nel 1572 Nemi venne acquistata dai Frangipane, che apportarono profonde modifiche all’edificio fortificato, separando il palazzo dal castello. Infatti, intorno al 1639, Mario Frangipane edificò una nuova ala sopraelevando le stalle del castello. Nel 1781, i Frangipane vendettero il feudo a Luigi Onesti Braschi, nipote di Pio VI, che lo elevò a ducato. Luigi, sposato ad una Falconieri e da poco iscritto fra i principi romani dallo zio, restaurò, ampliò ed abbellì con grande sfarzo il palazzo perché fosse degno di ospitare il papa e per non sfigurare di fronte alle altre famiglie dell’antica nobiltà romana. Della ristrutturazione fu incaricato Giuseppe Valadier (lo stesso che sistemò piazza del Popolo ed il Pincio). Valadier costruì la nuova ala Braschi dietro la torre maggiore, sopraelevando ed ampliando le precedenti costruzioni. Nel 1835 il palazzo venne acquistato dai Rospigliosi, poi dagli Orsini ed infine, nel 1901, dai Ruspoli, ai quali si deve l’ultima modifica architettonica – il prospetto neorinascimentale “a scarpa” su via del Plebiscito. Negli anni ’90 la principessa Ruspoli lo vendette ad una società privata, che intraprese enormi lavori di restauro, grazie ai quali la decorazione pittorica è stata in larga parte recuperata, ad esempio quella della Sala degli Stemmi, nell’ala Frangipane, decorata dai Ruspoli con le armi gentilizie di tutte le famiglie che hanno posseduto il feudo.