Prima del XIII secolo, dove oggi sorge la chiesa di S. Francesco d'Assisi esisteva un modesto edificio dedicato a san Vittore, di patronato della famiglia Della Rovere. Nel 1209 questa piccola chiesa venne donata ai Francescani e, ancora agli inizi del XIII secolo, fu ricostruita in forme gotiche. Dell'edificio medievale, che aveva di fronte a sé una piccola piazza, rimangono solo pochi resti del campanile - non visibili -, ai quali è stata addossata la calotta della cupola del presbiterio, e un minuscolo affresco raffigurante la Madonna col Bambino sul terzo pilastro della navata sinistra, di gusto tardogotico. Di fatto, l'antica chiesa gotica si trova "annegata" all'interno di un rivestimento barocco.

La calotta della cupola del presbiterio nasconde le tracce del primitivo campanile gotico (qui sopra e sotto): archetti pensili e alcune trifore. Questi elementi non sono visibili al pubblico.

Già nel 1608 la chiesa venne completamente rimodellata; nel 1761 subì la trasformazione definitiva ad opera del  Vittone e dell'allievo Quarini. Durante uno dei restauri dell'edificio venne rinvenuta sotto il pavimento una mezza colonna con un'iscrizione dedicata all'Imperatore  Giuliano l'Apostata. Davanti alla chiesa, nel 1903, si rinvennero anche alcuni mattoni rotondi per colonnine, forse suspensurae relative ad un edificio termale romano. Oggetto della devozione popolare, questo piccolo affresco medievale è stato risparmiato dal radicale rimaneggiamento d'epoca barocca. Esso si appoggia sulla primitiva colonna gotica di forma cilindrica, poi inglobata nell'attuale pilastro settecentesco.