La famille Le Tellier fait l'acquisition dès 1596, au décès du seigneur Simon de Vigny, d'un domaine à Chaville. L'ancien château détruit, Michel Le Tellier, maître des comptes, s'attache, jusqu'à son décès en 1608, à agrandir et aménager son domaine, opération perpétuée par ses descendants et notamment son petit-fils, Michel III Le Tellier (1603-1685).

Celui-ci a successivement la charge de conseiller au Grand conseil (1624), procureur du Roi au Châtelet (1631), maître des requêtes (1638) et intendant de justice en Piémont. Proche de Mazarin, il est nommé en 1643 secrétaire d'État à la Guerre et ministre d'État de Louis XIV, grand trésorier des ordres du roi (1652) et Chancelier de France (1677). Il contribue, peu avant sa mort, à la révocation de l'édit de Nantes.

Dès 1651, Michel Le Tellier obtient le droit de haute, basse et moyenne justice sur ses terres. Il confie, vers 1660, à l'architecte Chamois la construction d'un nouveau château à Chaville, stratégiquement placé entre Paris et Versailles où Louis XIII possède depuis 1623 son pavillon de chasse ; les jardins sont aménagés par Le Nôtre. Louis XIV, marqué par l'épisode de la Fronde, apprécie Versailles où il fera construire son château au début des années 1660 et où la cour sera rassemblée en 1682.

Un des fils de Michel Le Tellier, François-Michel Le Tellier, marquis de Louvois (1639-1691), très tôt associé à son père, devient secrétaire d'État à la Guerre de Louis XIV et s'installe en 1679 dans le domaine voisin de Meudon.

En 1695, la veuve de Michel Le Tellier, vend le domaine à la Couronne afin de doter le Grand Dauphin, fils de Louis XIV. Parallèlement, la veuve de Louvois échange avec le Grand Dauphin le domaine de Meudon. Les domaines de Chaville et de Meudon sont ainsi réunis.

Le château de Michel Le Tellier, abandonné par le Grand Dauphin installé à Meudon sera démoli en 1764.