Etwa im Jahr 1840 bezog der Hofgärtner und spätere Gartendirektor Theodor Klett die Dienstwohnung in der heutigen Schlossgartenallee. Bereits kurz darauf wurde die Anlage um eine Scheune mit Kutschen- und Pferdestall und einen Geräteraum erweitert, die Entwürfe dazu lieferte Hofbaurat Georg Adolf Demmler. Der Großherzog persönlich begutachtete Bauplatz und Entwurfszeichnungen.

Seinen Garten nutze Theodor Klett nicht nur, um Gemüse für seine eigene Familie zu ziehen, sondern züchtete dort vor allem Rosen und Stauden für die Großherzoglichen Gärten.