La princesse de Polignac vend le château en 1843 à M. Richard, riche avocat d'affaires parisien. Maurice Richard, son fils, ministre sous le Second Empire, en hérite. Éloigné des affaires publiques suite à la chute de l'Empire, il se rangea, lors de la scission qui se produisit dans le parti bonapartiste, du côté du prince Napoléon, dont il resta le familier et l'ami.

C'est à Millemont que le prince reçut du gouvernement de Thiers, en 1872, l'ordre de quitter la France.

Les communs sont inscrits au titre des monuments historiques depuis le 28 avril 1947 tandis que l'ensemble du château fait l’objet d’un classement au titre des monuments historiques depuis le 25 janvier 1965.