Les origines de ce château remontent au 18è siècle, lorsque Bernard Phélan acquiert le domaine Ségur de Cabanac situé à Saint-Estèphe. Les Phélan y édifient alors un château avec en son coeur un chai et un des premiers cuviers à la médocaine.
A la mort de Bernard, son fils Frank, qui deviendra maire de Saint-Estèphe, va consacrer sa vie à porter plus haut la notoriété et la qualité de ses vins.
Au début du 20è siècle, Château Ségur de Garramey adopte son nom moderne de Château Phélan Ségur, synonyme de noble classicisme et de valeurs.