
Nella seconda metà del XVIII, Francesco III d'Este, duca di Modena e Governatore della Lombarda Austriaca, si reca a Varese e rimane letteralmente rapito dalla sua bellezza. Decide dunque di chiederla in feudo a Maria Teresa d'Austria. Una volta esaudito il desiderio, il duca acquista la casa da Tommaso Orrigoni e affida il suo restauro all'architetto Giuseppe Antonio Bianchi con l'intento di trasformare la vìlla in palazzo di corte.
Per la trasformazione si rivela però necessaria la demolizione di parte delle case esistenti e la razionalizzazione degli spazi. L'architetto Bianchi si occupa della realizzazione del giardino all'italiana, tra i più belli della Lombardia: è caratterizzato da un impianto prospettico rigido delimitato da cespugli in bosso. Lo animano viali e aiuole. Davanti al Palazzo una grande vasca, elemento essenziale dello sviluppo architettonico di tutto il giardino. Bolognini prende il posto di Bianchi e si occupa di sistemare i giardini e le fontane. Per ciò che attiene l'edificio si occupa di progettare le camere per il biliardo e la cappella di corte dedicata a San Giovanni Battista. Ludovico Bosellini si occupa della decorazione a finte architetture, Ronchelli realizza l'ovale centrale con Giove, Venere e Amore.
Il Palazzo oggi ospita l'Amministrazione civica.

In occasione del 150° anniversario dell'Unità d'Italia, il Comune di Varese ha voluto valorizzare parte del proprio patrimonio storico-artistico attraverso lo studio dei ricordi marmorei posizionati nel portico di Palazzo Estense. E' stato dunque editato il volume "Il Lapidario di Palazzo Estense a Varese. Storie di uomini ed eroi" che qui viene integralmente pubblicato.