Il est né d'une mère coordonnatrice de voyage et d'un père professeur de musique. Avant de se tourner vers la comédie, Rupert Graves poursuit des études de cirque. Sa véritable carrière démarre grâce au réalisateur James Ivory avec une apparition dans Chambre avec vue (1985), et plus tard avec un rôle clé dans Maurice (1987).

Acclamé par la suite dans Intimate Relations, il reçoit le prix du meilleur acteur au festival de Montréal en 1996. Il a joué dans V pour Vendetta et Joyeuses Funérailles. Il a aussi repris le rôle de l'inspecteur Lestrade dans Sherlock, une série de la BBC qui transpose le personnage de Sherlock Holmes de nos jours.

Il est marié à Susie Lewis depuis 2001 et avec qui il a 5 enfants : Joseph, Ella, Noah, Isaac et Zoe1.