Das Grundstück, auf dem das Gebäude in der Schloßgartenallee heute steht, erhielt der Hofgärtner Christian Daniel Friedrich Klett (1774–1845) als Geschenk des Großherzogs. Das sogenannte „Alte Hofgärtnerhaus“ wurde 1822 als Büdnerei, also zur Versorgung und Bewirtschaftung, errichtet. Es ging später wieder in den Besitz des Großherzogs über und diente nach 1840 vermutlich vorwiegend als Wohnhaus für Gärtner. Zusammen mit dem auf dem Gelände erhalten gebliebenen Kalthaus, für die Überwinterung von Pflanzen, stellt es einen wesentlichen Bestandteil der Anlagen der ehemaligen Schlossgärtnerei dar.