San Gregorio è dominata dalla mole dal castello baronale che fu dei Colonna, che con le sue mura possenti si innalza sopra le case, ben visibile anche da lontano. Le particolari condizioni del terreno hanno portato allo sviluppo di un raro esempio di “borgo doppio”, cioè alla suddivisione dell'abitato in due ben parti distinte: da una parte il borgo medievale ed il castello, isolati su uno sperone roccioso, dall'altra il borgo seicentesco. Costruito nel X secolo, il castello, che si incunea nell’abitato medievale, subì numerosi rimaneggiamenti, restauri ed ampliamenti nei secoli successivi. Molto bella è la facciata esterna, rivolta verso il borgo barocco, con splendide finestre crociate situate al primo piano, così come maestosi sono i merli posti a coronamento dei muri perimetrali e la svettante torre quadrangolare. Ben conservato è inoltre il ponte levatoio che scavalca la profonda gola che separa le due parti del paese. Sul retro del castello, all’interno della sua cinta muraria, fa bella figura di sé un cortile abbastanza spazioso, sopraelevato rispetto all’abitato, con un edificio disposto ad angolo retto rispetto alla facciata posteriore dell’edificio principale. Il castello fu rimaneggiato nel 1655, quando San Gregorio fu acquistato dal cardinale Carlo Pio di Savoia (cui si deve l’ampliamento del paese con il barocco Borgo Pio) ed ancora nel 1840-55, quando, dopo anni di abbandono, fu restaurato dai duchi di Uceda, che ne erano giunti in possesso attraverso una serie di successioni ereditarie. Nel 1899 il castello fu acquistato dai Brancaccio, che fecero edificare la grande foresteria e la torre quadrangolare. Come si usava all’epoca, per queste aggiunte e rifacimenti si adottò un finto stile medievale: le finestre del pianterreno furono rifatte a croce guelfa e il vecchio campanile della cappella fu trasformato in torre. All’interno del castello, una scalinata imponente conduce al primo piano, dove molte stanze furono affrescate da Federico Zuccari e la sua scuola. Nel 1989 i Principi Brancaccio hanno ceduto il castello al Comune (che ne ha fatto la sua sede), così come avevano già fatto con Villa Brancaccio, diventata parco comunale.