Désignant une personne qui refuse le contact avec le monde extérieur et qui préfère s’isoler, l’expression "vivre dans une tour d’ivoire" a été popularisée par la plume de Charles-Augustin Sainte-Beuve (1804-1869).
L’écrivain s’en est servi dans son recueil Les Consolations, paru en 1830, pour décrire l’un de ses contemporains, le romancier et poète romantique Alfred de Vigny.
Pessimiste et hautain, ce dernier se coupait régulièrement du monde pour écrire et se réfugiait dans son domaine en Charente, notamment dans une petite pièce de dix mètres carrés au sommet de sa bâtisse. Il pouvait alors réfléchir et ciseler des vers en toute tranquillité.
Le rapport avec l’ivoire vient quant à lui de la comparaison entre son travail et celui, très minutieux, des sculpteurs de ce matériau précieux.