La prima notizia che si ha di questa chiesa risale al 1177. il suo complesso però doveva esistere già da prima se in quell’anno viene chiaramente inserito nelle proprietà del monastero di S. Elia che elenca “S.Silvestri in castrum Fabricae” tra gli altri suoi beni. Ricostruire la storia dell’edificio è tuttavia un compito arduo, per la frammentarietà delle notizie: direttamente inserita nel sistema difensivo del Borgo, questa chiesa dovette essere poco utilizzata tra la fine del XIII ed il XIV secolo. Nel ‘400 però doveva essere stata ampliata e ripristinata al culto, ed era divenuta la Chiesa parrocchiale di Fabrica. come testimoniano le concessioni di indulgenza rilasciate da Alessandro VI Borgia. Negli anni Settanta del ‘500 uno dei visitatori apostolici incaricati di descriverne le condizioni generali la definisce ”ampla et nova “, a testimonianza di una serie di continui e progressivi lavori che dureranno fino a tutto il secolo seguente, nonostante le continue difficoltà economiche della Comunità. Nel 1655, per esempio, vengono cominciati i lavori al mattonato, ma due anni più tardi risulta evidente dalla visita di un perito che la situazione va ancora aggravandosi: “…ho retrovato che non solo il campanile ma anche il tetto… minaccia ruina et ha necessità de far presto reparo…” . In quegli stessi anni era anche stato “nettato et raggiustato” l’organo. Nel 1661 però una nuova serie di problemi colpisce la chiesa: “…sendosi rotta una delle (due) campane …fu resoluto nel Consiglio Pubblico la permuta della rotta con una nuova… “. Trasportata a Roma per essere aggiustata o nuovamente fusa, dopo cinque mesi la campana ancora non era tornata al suo posto e la chiesa ,”se retrova senza una campana et per sonare a doppio é necessario di far sonare le tre campane esistenti nell’oratorio di S.Caterina , per il passato chiesa parrocchiale della medesima terra…”. Nella seconda metà del XVII secolo si procede alla sistemazione di uno dei casali attigui alla chiesa, che veniva utilizzato ,”…per scuola et habitatione del nostro cancelliere et maestro… sotto(vi sono) i granai… et quella casa che prima serviva per scuola ora serve per il medico…” .All’intemo è necessario “…foritficare la tribuna … per l’imminente pericolo di cadere stante le molte crepature che si dilatano et fanno maggiori particolarmente in questi temporali cattivi… et(é) in pericolo di cadere…ancora il maggior corpo della chiesa”. Solo alla fine del secolo verranno realizzati interventi decisivi e di consilidamento , finché nel 1703 si decide anche “…il risarcimento del campanile et confezzione della balaustrata avanti l’altar maggiore…”. Al problema della mancanza dei fondi si aggiunge quello dei lavori fatti troppo in fretta o non portati a buon fine se solo tre anni più tardi si legge nei documenti: “….non essendo stata fatta ad uso d’arte (la balaustra) si agita contro il capomastro perché venga obbligato a rifare il lavoro…” La chiesa di S.Silvestro era molto importante per la popolazione di Fabrica e dei paesi limitrofi e non poteva essere agibile, poiché: “…questo povero populo pativa non havendo dove sentir la messa …” , ma appena terminato il restauro , molti dei lavori dovettero essere ricominciati. Sono infatti dell’inizio del ‘700 i danni causati dalla caduta di un fulmine di particolare violenza che danneggiava il tetto ed il campanile della chiesa.

“Ieri mi pollai a riconoscere il ponte di Rio Fratta, quale ha necessità secondo…ho creduto notare… per riparo dal pericolo in si passa tanto per entrar che per uscir da detto ponte dalla parte di Gallese, strada frequentata da mulattieri vinadanti sedie et carrozze… per esser pericolosa di giorno et pegio di notte perche la strada è angusta e si sta in mezo al pencolo… da una parte la ripa del fiume dall’altra il fosso… La sacra congregazione delle acque nel 1746 lo riattò ma perché il fiume arrivava all’ali del ponte non potè ripigliare il muragliene… et presentemente poi farsi per essersi di nuovo ritirato il fiume… sarebbe necessario slargare la strada per palmi sei… in detto muragliene vi è nato un albero di fico… et è necessario levarlo e (tagliare) vari alberi et virgulti nati nelle mura del ponte et cavarli dalle radiche perché col tempo poi causar qualche apertura… che presentemente il pontesta bene…”

Nella chiesa di S. Silvestre Bartolomeo e Lorenzo Torresani affrescarono il catino absidale: sullo sfondo di un cielo azzurro cupo, sparso di stelle d’oro, il Cristo, raffigurato nell’atto di benedire, è contornato da una corte di angeli di grande effetto scenografico dai colori molto accesi. Nel tamburo sottostante sono rappresentate : l’Ultima Cena, con uno sfondo di quinte architettoniche perfettamente costruite, la Crocefissione e la Flagellazione. Gli affreschi riportano inoltre la data dell’esecuzione de! ciclo pittorico, realizzato nel 1556. Ancora di mano di due pittori la decorazione a grottesche e Se piccole scene di argomento pastorale e biblico, poste lungo il sottarco absidale e sulle paraste. Erroneamente attribuiti agli Zuccari, questi affreschi vennero restaurati nel 1955. Il lavoro realizzato a S. Silvestre, di cui si segnala ancora l’opera di .Alessandro nel lacunoso e rovinato affresco posto nella nicchia sinistra de! presbiterio, dovette avere molto successo. Di li a poco infatti i Torressani furono chiamati anche a realizzare la decorazione pittorica delle cappelle e nicchie di S. Maria della pietà.