El nombre deriba de un observatorio astronómico que el Gran duque Pietro Leopoldo de Asburgo-Lorena hizo instalar en 1775.

Al interior, en el primer piso, la suntuosa Tribuna de Galileo, osea un sagrario de los científicos toscanos, que da gloria, en particular, a la obra de Galileo Galilei. Este singular monumento científico se ha construído en estilo clacisista por el Gran duque Leopoldo II en 1841.
En el segundo piso del palacio, el Museo verdadero, con ricas colecciones zoológicas y de preparados anatómicos en cera.