Nella stessa area attualmente occupata dal Palazzo, probabilmente fin dal periodo falisco dovevano trovarsi delle strutture difensive, essendo in questo punto la collina priva di difese naturali. Divenuto nel corso dei secoli sempre più imponente, questo apparato difensivo nel Medioevo acquisì la forma di castello. Alla fine del XV secolo fu restaurato per volere di Alessandro VI; successivamente, dopo circa un secolo, gli Altemps lo trasformarono in palazzo su disegno del Vignola. Anche l'architetto Carlo Fontana. nel XVIII secolo, intervenne sull'edificio. Ancora oggi il palazo, abitato dal Duca Luigi Hardouin, conserva il suo antico splendore.