Il nome deriva da un osservatorio astronomico che il granduca Pietro Leopoldo d'Asburgo Lorena vi fece impiantare nel 1775.

All'interno, al primo piano, la sontuosa Tribuna di Galileo, cioè un sacrario degli scienziati toscani, che glorifica, in particolare, l'opera di Galileo Galilei. Questo singolare monumento scientifico venne fatto costruire in stile classicista dal granduca Leopoldo II nel 1841.
Al secondo piano del palazzo, il Museo vero e proprio, con ricche collezioni zoologiche e una raccolta di preparati anatomici in cera.