Herzog Carl Eugen von Württemberg (1744-1793) schenkte im Jahr 1772 seiner Mätresse und späteren zweiten Gemahlin Franziska von Leutrum das Schloss- und Landgut Hohenheim und begann mit dem Ausbau des alten kleinen Wasserschlosses und der Gartenanlagen.

Dem Schloss nach Norden vorgelagert, entstanden zwei zweigeschossige Flügelbauten, von denen der eine, der Kabinetts- oder Meiereiflügel (später Museumsflügel) für den Gutsverwalter bestimmt war, während der andere, der Kavaliersbau (heute Speisemeisterei), der Aufnahme von Repräsentationsräumen und der relativ bescheidenen Wohn- und Schlafzimmer Carl Eugens und Franziskas diente. Der Herzog und die im Jahre 1774 zur Reichsgräfin von Hohenheim erhobene Franziska  lebten in ihrem neuen Domizil im Stil einer Gutsherrschaft. Carl Eugen plante, in Hohenheim einen landwirtschaftlichen Musterbetrieb aufzubauen.

Im Jahr 1776 wird die Sommerresidenz des Herzogs vom Schloss Solitude nach Hohenheim verlegt. Im gleichen Jahr beginnen Carl Eugen und Franziska auf dem Gelände des Schlossguts mit der Gestaltung des „Dörfles“, dem berühmten Englischen Garten mit über sechzig teilweise „antiken“ Bauwerken, bei denen das Rathaus ebenso wenig fehlte wie ein Wirtshaus, eine Meierei oder eine Köhlerhütte.

An besonderen Tagen, wie etwa am Geburtstag des Herrschers, hatten die Schüler der ‚Hohen Carlsschule’ die Szenerie zu beleben. „Ländliche Einfachheit und versunkene städtische Herrlichkeit“, so Friedrich Schiller, standen als Idee hinter der Erbauung der fiktiven Ortschaft. Die Häufigkeit der Attraktionen, die den Besuchern ständig wechselnde Sinneseindrücke vermittelten, spiegeln jedoch eher den Geschmack des Rokoko als empfindsames Landleben. Das Tagebuch der Franziska vermittelt, dass sie und der Herzog aktiv an der Gestaltung des Gartens beteiligt waren. Der Eintrag vom 8. Juni lautet: „….der herzog gaben audientz u. sonsten geng nichts sonderliches vor, auch säde ich im Dörfle Salad u. der Herzog rechneden in hinein“ [Originaltext].

Auch der Gutshof wird nun weiter ausgebaut. An den eigentlichen Schlosshof, der nach Norden von den Flügelbauten, im Süden von dem alten Schlösschen umgeben wurde, schlossen sich zwei  Wirtschaftshöfe an. Im Westhof waren die Ställe für die Pferde, der Marstall und das Reithaus untergebracht. Der Osthof diente dem landwirtschaftlichen Betrieb.

Im Jahre 1782 beschließt Herzog Carl Eugen, über die bisherigen Baumaßnahmen hinaus, sich in Hohenheim ein weitläufiges Schloss als repräsentative Hauptresidenz zu bauen. Angeregt zu diesem Bau hat ihn wohl der Besuch des russischen Thronfolgerpaars. Unter der Leitung des Hofarchitekten F. H. Fischer wurde als südlicher Abschluss des Westhofs das Reithaus gebaut. Beim Osthof entstand die Orangerie. An die Orangerie schloss sich der Wintergarten, an das Reithaus Gewächshäuser an.

Franziska wird 1784 Gemahlin des Herzogs. Die fromme und karitativ wirkende Frau genießt heute noch in Württemberg einen guten Ruf. Aus ihrem Tagebuch spricht Bescheidenheit und große Heiterkeit. Ein Eintrag in ihr Tagebuch lautet: „Hohenheim, d. 26. Sep. Dinstag 1780. Heide wahr man die mereste Zeidt im Dörfle, ich kochde ein Zwetschgen geseltz in meiner Kleinen Küch(…).“ [Originaltext].  Franziska von Hohenheim wird zugeschrieben, dass sie den unberechenbaren,  verschwendungssüchtigen und absolutistisch regierenden Carl Eugen in einen fürsorglichen Landesvater verwandelte. Der Herzog scheint seine Franziska wirklich gern gehabt zu haben; im Jahr 1786 schreibt er aus Kirchheim: „Herzallerliebstes Franzele! …schönstes Weible! Das Wichtigste: Hast Du mich auch gern? …Ja, mein Franzele ist mir immer vor Augen. Adieu, Engel! Ich küsse Dich tausendmal in Gedanken und bin von ganzem Herzen Dein bis in den Tod. Der regierenden Herzogin, meiner allerliebsten Frau in Stuttgart.“

Am 24. Juni 1785 wird der Grundstein für den eigentlichen Schlossbau gelegt. Das alte kleine Wasserschloss wird nun abgerissen. Im Bereich des noch vorhandenen Wassergrabens wurde das Schloss so untermauert, dass im Untergeschoss ein Raumgefüge aus Tonnengewölben entstand. Da für die meisten Räume kein Bedarf bestand, wurden sie mit Erdaushub und Abbruchmaterial aufgefüllt. Bereits 1786 ist der östliche Schlossflügel fertig, die Kuppel mit dem Belvedere auf dem Mittelbau eingedeckt. Die ersten Räume werden nun durch das Carl Eugen und Franziska benutzt. Eine umfangreiche Gemäldegalerie mit Bildern aus Ludwigsburg wird eingerichtet.  In den Jahren 1787 bis 1789 wird der westliche Schlossflügel gebaut, doch dann stockt der Innenausbau. Als Herzog Carl Eugen am 24.10.1793 starb, hatte die nicht mehr ganz zeitgemäße spätbarocke Anlage die außergewöhnliche Ausdehnung von 570 Metern, war jedoch noch nicht vollendet. Bei der vorhandenen Innenausstattung finden sich frühklassizistische Wanddekore, die eher der damals neuen Stilrichtung entsprachen. Im Mittelbau war nur ein Raum, der heutige ‚Blaue Saal“, bezugsfertig. In dem Raum, der als Schlafzimmer des Herzogs vorgesehen war, stand lediglich ein Ofen.

Der neue Landesherr, Herzog Ludwig Eugen, zeigt kein Interesse am Hohenheimer Schloss. Unter seinem Nachfolger, Herzog Friedrich Eugen, kommt es noch zu kleinen Abänderungen des bestehenden Baus. Als dieser im Jahr 1797 stirbt, ist Hohenheims fürstliche Zeit vorüber. Für den Unterhalt von Schloss und Gartenanlagen werden nur noch geringe Mittel zur Verfügung gestellt – der Verfall beginnt. Erst König Wilhelm I. von Württemberg und seine Frau Königin Katharina retteten die Anlage, als sie 1818 im Schloss eine „Landwirtschaftliche Unterrichts- und Versuchsanstalt“ einrichteten. Sie wurde 1847 zur Akademie erhoben und ist Vorgängerin der noch heute in Schloss Hohenheim residierenden Universität Hohenheim.