L’edificio risale agli ultimi decenni del 1600, allorché gli amministratori del Collegio “Tolomei” ritennero di creare, fuori porta Camollia, una casa-vacanza per gli “onesti svaghi” dei giovani collegiali. Una “piccola ma conveniente casa sul prato di Camollia” – così si legge nei documenti d’epoca – generosamente dato dal Granduca”. Nella richiesta rivolta al Granduca si sottolineava l’esigenza di “dare ai signori collegiali il solito divertimento nelle vacanze di ciascheduna settimana” e, pertanto, “ciò supposto si disegna fare una sufficiente fabbrica in testa del Prato […], primo per dare ricovero ad una o due camerate de’ giovani che in ciascheduna settimana nel dì della vacanza si mandano a vicenda a pranzo e ricreazione, conforme la consuetudine introdotta nella prima institutione del Collegio […], il secondo non meno importante per il buon governo e custodia di questa gioventù, la quale eccettuati i tre mesi d’estate, in cui per privilegio di Sua Altezza serenissima gode i piani intorno alla Fortezza per il gioco del pallone, non ha in tutto l’anno né dì festivi e vacanze, dove mandarsi doppo pranzo per esercitio e spasso senza timore di quei disordini che spesso seguono per la libertà d’andare fuori delle Porte e vagando per la città”. Peraltro – dicevano ancora gli amministratori del Tolomei – “con la predetta fabrica si vorrebbe rendere praticabile il Prato che appunto per questo disegno ne fu dato l’uso e circondato di mura dalla beneficenza di Sua Altezza serenissima, rimasto poi imperfetto. Questi sono i fini e comodi dell’intentionato edificio, oltre l’ornamento che ne risulta in luogo conspicuo ed esposto all’occhi de’ forestieri”.
Per poter costruire l’edificio fu necessario acquistare anche dalla Congregazione delle Abbandonate il podere contiguo al Prato per la cifra di 1.940 scudi, al fine di evitare pericolose vicinanze tra le fanciulle orfane “abbandonate” e i giovani collegiali.
Così, a spese del Collegio fu costruito il palazzo che poi, nella seconda metà dell’Ottocento, sarà sede del Comune delle Masse e, nel Novecento, di alcune scuole e del Provveditorato agli Studi.
