Le nom dérive d'un observatoire astronomique que le Grand Duc Pierre Léopold D'Habsbourg-Lorraine y fit installer en 1775.

A l'intérieur, au premier étage, la somptueuse tribune de Galilée, c'est-à-dire un sanctuaire des scientifiques toscans, qui glorifie, en particulier, l'œuvre de Galilée. Cet étonnant monument scientifique fut construit en style classique sur ordre du Grand Duc Léopold II en 1841.
Au deuxième étage du Palais, le musée proprement dit, avec de riches collections zoologiques et une collection de préparations anatomiques en cire.