En 1430, Gutierre Álvarez de Toledo, homme d'armes, évêque de Palencia et archevêque de Séville et de Tolède, a reçu des mains de Jean II la seigneurie d'Alba de Tormes (une ville de la province de Salamanque). Son Neveu Fernán Álvarez de Toledo, 4e seigneur de Valdecorneja et l'un des plus importants guerriers castillans du XVe siècle, a reçu le titre de comte d'Albe en 1439. Mais ce n'est que grâce à son fils, Garcia Álvarez de Toledo, que le titre est devenu duché. En 1472, le roi Henri IV de Castille a accordé le marquis de Coria et le duché d'Albe à García Álvarez de Toledo. Après la mort du roi, le duc d'Albe a rendu ses services à la monarchie et a participé aux principaux épisodes du règne des monarques catholiques Isabelle et Ferdinand de Castille-et-Aragon, morts en 1488.
On dit de lui qu'il était de taille moyenne, discret et drôle. Qu'il aimait l'art italien de la Renaissance et, plus curieux encore, qu'il ait composé les paroles de chansons qui ont ensuite été utilisées par le flamenco Juan de Wrede. Il possédait également une grande bibliothèque. Et c'est lui qui a acquis la tapisserie de la « Lutte des Grecs et des Amazones ».
Au Palacio de Liria, il est représenté dans un panneau du Maître de la Virge Entre Virges, probablement réalisé après sa mort. Sur la table, vous pouvez le voir agenouillé, avec de longs cheveux noirs, un nez proéminent et le bouclier de Tolède au-dessus de sa tête.
García Álvarez de Toledo a fondé María Enríquez de Quiñones et Toledo en 1447, avec qui les nouveaux enfants sont nouveaux.