Dal primo inventario di cui disponiamo, datato 5 agosto 1315 e redatto dallo Spedalingo Vanni di Stefano, risulta che all'epoca San Silvestro, articolato in ben cinque edifici, fosse, per consistenza patrimoniale, il più importante ente assistenziale e ospedaliero pratese dopo l'Ospedale della Misericordia . I suoi beni si accrebbero ulteriormente quando, a seguito della soppressione dello Spedale del Signorello, si decise di assegnarne il patrimonio ai due maggiori enti ospedalieri cittadini, l'Ospedale del Dolce e quello della Misericordia.
Gli statuti più antichi rimasti, risalenti al 1404, emanati per regolamentare sia questo ospedale che quello della Misericordia, affidarono la gestione dell'istituto a due Rettori e ad un Camarlingo eletti dalla magistratura civica degli Otto. Tali statuti non solo fornivano le norme per una corretta amministrazione e gestione patrimoniale, ma dettavano regole precise riguardo l'accoglienza, il mantenimento e la cura dei pazienti e dei gettatelli.
A tali norme ne seguirono numerose altre nel corso del XV secolo mirate ad un più rigoroso controllo comunale della gestione patrimoniale e della regolamentazione interna di enti che non soltanto rivestivano un ruolo fondamentale nel tessuto sociale dell'epoca, ma che potevano disporre di un patrimonio di notevole entità.
Da un inventario degli arredi e suppellettili redatto nel 1409 dal Camarlingo Tieri di Niccolosio sappiamo che in quell'anno l'infermeria degli uomini era dotata di ben 22 letti e quella delle donne di 21.
Grazie ai numerosi lasciti, all'annessione dei patrimoni di piccoli ospedali soppressi ed alla esenzione dal pagamento di qualsiasi imposta, nel corso del XV secolo San Silvestro accrebbe ulteriormente il proprio patrimonio tanto da mettere in atto un nuovo ampliamento della fabbrica, ai cui lavori parteciparono Giuliano da San Gallo, in qualità di legnaiolo, e il pittore Tommaso di Piero Trombetto che affrescò il portico dell'infermeria con scene della Passione.
Come già era stato per la Misericordia, fu solo in seguito al sacco del 1512 ed al permanere in città delle truppe spagnole, che la situazione finanziaria dell'ospedale andò peggiorando fino a subire un grave tracollo.
Per porvi rimedio Cosimo I decretò, in data 1 febbraio 1537, che gli Otto Difensori ed il Gonfaloniere provvedessero a chiudere per cinque anni l'ospedale. Nel 1545 San Silvestro venne riaperto ma ben presto, trovandosi "vuoto d'infermi", venne nuovamente chiuso: i suoi locali furono dapprima offerti alle monache del monastero di Santa Chiara e poi dati in affitto; le sue rendite vennero riunite a quelle della Misericordia portando di fatto alla costituzione di un unico ente denominato Ospedale della Misericordia e Dolce.
Nel 1869 Gaetano Guasti nella sua opera Degli spedali di Prato e della loro dipendenza dal Comune. Memorie e documenti affermano: "Oggi non resta dell'antico Spedale che la porta di ingresso, e un piccolo cortile con loggia che forse gli girava intorno. Il fabbricato fu ridotto a quartieri, e per la maggior parte l'occupano i telai del signore Alessandro Pacchiani, la cui fabbrica di panni e casimirre è tra le più stimate della Toscana".