Émile Ollivier ne fut pas seulement un acteur de la vie politique française au XIXe siècle. Du fait de ses goûts et par ses réseaux personnels, il fut mêlé à la création artistique de son temps. Homme de l’écrit, nourri de culture classique (de Cicéron à Chateaubriand, en passant par Machiavel, Bossuet et Molière), il entretint une correspondance assidue avec des écrivains majeurs tels Lamartine, Renan, Taine, Daniel Stern (Marie d’Agoult), George Sand et la princesse Wittgenstein.
Portraituré par le sculpteur Sax et par le peintre Lévy-Dhurmer, Émile Ollivier se passionna aussi pour l’art italien et la Renaissance et profita de son exil en Italie, après 1870, pour rédiger une biographie de Michel Ange. La publication en dix-huit volumes de ses souvenirs politiques, sous le titre de L’Empire libéral, fait d’Émile Ollivier l’historiographe incontesté du règne de Napoléon III.
Élu à l’Académie française au siège d’Alphonse de Lamartine, il préféra ne pas prononcer son discours de réception plutôt que de se censurer.
Fin mélomane, Émile Ollivier entretenait aussi des liens étroits avec le compositeur Rossini et par son mariage avec Blandine Liszt, il devint le gendre du musicien éponyme et le beau-frère de Wagner.
