Nel basso medioevo, la chiesa medievale di S. Silvestro, di forme gotiche, possedeva un'abside trilobata rivolta ad oriente e aveva a sud un piccolo cimitero (nei pressi del quale avvenne il  Miracolo del SS. Sacramento), in parte soppresso già nel XV secolo per far posto ad un'edicola in stile rinascimentale. Dopo aver rischiato di scomparire del tutto, la chiesa venne ricostruita in stile barocco nel XVII secolo e dedicata al Santo Spirito; nel secolo successivo assunse le forme attuali. Scarsissime le tracce dell'edificio medievale. All'interno di quello attuale, nella prima cappella a destra, si trova un pregevole crocifisso ligneo del XV secolo. Nella sacrestia esistono, inglobate nella parete, due colonne in mattoni, appartenenti probabilmente all'antico chiostro della chiesa medievale, mentre una terza si trova all'esterno dell'edificio, presso l'abside. Anche la cripta, mai esaustivamente indagata, potrebbe appartenere alla primitiva S. Silvestro.

La chiesa di S. Spirito (nella foto la facciata ripresa da via Cappel Verde) è sorta sul medesimo luogo della precedente S. Silvestro, avendo però un orientamento opposto (abside orientata a ovest anziché a est). La cripta, rimaneggiata in epoca barocca e senza particolare pregio artistico, potrebbe appartenere alla costruzione precedente (la tradizione storiografica, senza prove archeologiche, la identifica con un presunto sacello pagano dedicato alla dea Diana).

Sopra: nella sacrestia della chiesa di S. Spirito, presso l'uscita verso il vicolo che conduce in  piazza Palazzo di Città, si trova una delle tre colonne che restano di un edificio connesso alla medievale chiesa di S. Silvestro (forse il chiostro). La seconda, non visibile ma perfettamente allineata alle altre due, è inglobata all'interno della parete.

La terza colonna, riportata alla luce negli anni '90 del secolo scorso (qui sopra fotografata nel corso del rinvenimento), si trova in prossimità dell'abside di S. Spirito, verso piazza IV Marzo, in un cortile un tempo occupato da un edificio medievale (bombardato nel corso dell'ultimo conflitto) contiguo alla  Casa del Senato .