Le Château de la Barre est un exemple particulièrement riche d’une continuité historique sur six siècles, qui se retrouve sur trois plans : l’histoire familiale, le bâti et les archives. En 1404, Jean de Vanssay acquiert par mariage la Seigneurie de la Barre qui est resté dans la même famille jusqu’à nos jours. Les pièces les plus anciennes du château, avec une cheminée monumentale datant de 1353 et un puits intérieur, témoignent de la période austère de la guerre de cent ans. Au XVIième siècle, avec la Renaissance, des embellissements furent ajoutés à la tour d'escalier. Pendant les guerres de religion, à la fin du XVIième siècle, Marin de Vanssay, ayant épousé la petite-fille des constructeurs du château de Chenonceau, agrandit et fortifia lourdement son manoir, avec un pont-levis, des tours de défense, et une galerie, et des douves sèches Certaines parties de ces fortifications subsistent encore aujourd'hui. Au XVIIème siècle, l’aile Renaissance Ouest est reprise avec de grandes ouvertures et en 1779 c’est tout l’intérieur qui est repris. En 1790, Charles de Vanssay sera choisi comme commandant de la Garde Nationale de Conflans par les gens du village.

Son fils servira comme préfet sous Napoléon, Louis XVIII et Charles X et son petit fils sera le secrétaire particulier du Comte de Chambord. Durant la première guerre mondiale, la grande Salle à Manger devient un hôpital pour les blessés du Front.