Il castello originario, che sovrasta il lago di Albano, fu costruito alla fine del XII secolo dai Gandolfi, da cui evidentemente il nome della cittadina. Alcuni anni dopo fu acquistato dai Savelli, che lo tennero più o meno continuamente fino al 1596, quando fu acquisito dalla Camera Apostolica in pagamento dei forti debiti in cui erano incorsi. Nel 1604 fu ufficialmente incamerato nei domini della Chiesa. Urbano VIII Barberini (1623-44) fu il primo papa a farne la sua residenza estiva. Già quando era stato cardinale aveva amato villeggiare a Castel Gandolfo, in un torrione a ridosso del’antica rocca e tuttora in piedi presso Porta Romana. Diventato papa, Urbano incaricò Carlo Maderno di trasformare il vecchio castello in una nuova, grande residenza. Maderno incorporò nel nuovo Palazzo Pontificio le strutture medievali ed aggiunse l’ala che si affaccia sul lago. La nuova cappella privata, il piccolo oratorio e la sacrestia furono affrescati dal fiorentino Simone Lagi. Maderno impiantò anche il piccolo giardino, detto Giardino del Moro, rimasto inalterato fino ad oggi. Il palazzo fu ulteriormente ampliato da Alessandro VII Chigi, con la costruzione di un’altra ala, quella rivolta verso il mare. Anche la facciata del Maderno venne modificata ed ingrandita su disegno del Bernini, che progettò anche la grande galleria, la cancellata d’ingresso al giardino e la fontana nella piazza di fronte al palazzo. Nel 1710, Clemente XI conferì a Castel Gandolfo il titolo di “Villa Pontificia”. Nel corso del ’700, venne costruita la Loggia delle Benedizioni, sovrastata da un grande orologio, e la galleria del Bernini fu affrescata da Pier Leone Ghezzi, che raffigurò i panorami dei Colli Albani e le vivaci scene rustiche le quali era noto. La proprietà venne inoltre ampliata acquistando l’adiacente Villa Cybo, con il suo splendido giardino ricco di sculture, fontane ed alberature. Oltre ai molti tesori artistici, nel palazzo pontificio si trova oggi anche la “Specola Vaticana”, ovvero l’osservatorio astronomico trasferito qui dal Vaticano nel 1934 ed affidato ai Gesuiti. Nel piccolo museo astronomico è esposta anche una pietra lunare.