Nel 1784, il Granduca Pietro Leopoldo stabilì che tutte le scuole di disegno di Firenze venissero conglobate in una sola Accademia dotata di una Galleria di dipinti antichi per permettere agli allievi dell'Accademia delle Belle Arti di approfondirne la conoscenza. Venne scelto l'antico edificio che un tempo apparteneva all'ospedale di San Matteo e che poi venne ampliato con ambienti adiacenti.
Oggi la Galleria dell'Accademia rappresenta un museo di importanza rilevante, grazie ad alcuni pezzi che ospita, ad esempio La Pietà di Giovanni da Milano, l'Annunciazione di Lorenzo Monaco, lo splendido frontale detto Cassone Adimari che raffigura un fastoso corteo nuziale e la Madonna del Mare del Botticelli.

L'affluenza dei visitatori aumentò nel 1873 quando venne trasferito, per ragioni conservative, da Piazza Signoria alla Galleria dell'Accademia il David di Michelangelo, al centro di una tribuna costruita appositamente da Emilio de' Fabris.

Questa statua, che raffigura il personaggio biblico in attesa di combattere con il Gigante Golia, aveva rappresentato la forza della repubblica fiorentina nel corso dei secoli. Altre opere del Buonarroti vennero trasferite alla Galleria successivamente: il San Matteo e le quattro Prigioni eseguiti per la tomba di Papa Giulio II a Roma ma che erano stati collocati nella grotta del Giardino di Boboli alla fine del 500.
Verso il 1980 nel Salone dell'Ottocento viene allestita una Gipsoteca. Nella sala dell'Anticolosso è situato il Ratto delle Sabine in gesso del Giambologna (1582). Da questa sala si accede alla Galleria delle Prigioni che ospita sculture incompiute di Michelangelo tra cui la Pietà da Palestrina.

Recentemente è stato compiuto un restauro al piano superiore della Galleria dell'Accademia che ha permesso di aprire al pubblico una nuova sala dove sono raccolti i modelli in gesso di Lorenzo Bartolini e Luigi Pampaloni, scultori dell'800.Qui si possono ammirare i 300 busti di personaggi dell'alta borghesia. Al piano terra si trovano le Sale Bizantine in cui sono raccolte opere della pittura fiorentina della prima metà del 300. Nella prima spicca l'Albero della Vita realizzato da Pacino di Bonaguida,, nella seconda le Formelle dipinte da Taddeo Gaddi verso il 1330 e l'ultima sala è dedicata ai tre fratelli Orcagna, di cui rimangono i dipinti sacri realizzati nel 300.