Venne realizzato agli inzi del Seicento, con l'annessa chiesa. Perse la funzione conventuale nel 1804, quando le monache, in seguito all'occupazione francese, furono costrette ad abbandonare l'edificio. Da allora ospitò l'Oratorio della Confraternita del Santissimo Rosario, l'Orfanatrofio, la Sede Vescovile e il Municipio. La chiesa non è più esistente, a causa dei gravissimi danni subiti nel corso della seconda guerra mondiale. Attualmente l'edificio ospita il Museo e Centro Culturale Marco Scacchi, struttra creata per rafforzare l'identità storico-artistica del territorio di Gallese e per ospitare e promuovere attività culturali. Al suo interno, unitamente ai pannelli didattici che illustrano la realtà territoriale, sono conservate raccolte archeologiche, documenti a partire dal Medioevo, opere d'arte medievale e rinascimentali, macchine industriali dei primi del '900.