Fu modificato nel corso del tempo dai diversi signori che si avvicendarono, fino ad assumere quell’aspetto piuttosto severo impressogli dai Savelli e che il Cardinal Pierdonato Cesi quando ne entrò in possesso nel 1566