Bereits im 18. Jahrhundert sollen die Weine von Milon dem damaligen Schlossherren des Château Lafite, Marquis Nicolas-Alexandre de Ségur, als zusätzliche Einnahmequelle gedient und ihm bei König Ludwig XV den Namen "Fürst der Reben" eingebracht haben. Anfang des Neunzehnten Jahrhunderts gehört das Weingut der Familie Mandavy, die es Mandavy-Milon nennt und über deren Weine schon 1815 der irischstämmige Handelsagent Guillaume Lawton schreibt, hier entstehe ein vierter Cru des Pauillac. Innerhalb zehn Jahren, zwischen 1830 und 1840, erbt die Familie Castéja sowohl Mandavy-Milon als auch den Besitz der Witwe Duhart. Sie verfügt damit über ein stattliches vierzig Hektar großes Weingut, das sie in Duhart-Milon umtauft. Bei der Bordeaux-Klassifizierung von 1855 erhält Duhart-Milon den Rang eines 4eme Cru Classé. Bis 1937 bleibt das Château im Besitz der Familie Castéja und ist mit inzwischen rund fünfzig Hektar eines der größten Weingüter in Pauillac.