Ses parents meurent en déportation dans les camps nazis durant la Seconde Guerre mondiale. D'après Brigitte Bardot, à qui il en fait la confidence, il ne doit sa survie qu'au fait que ceux-ci l'aient caché dans un panier à linge de la maison avant d'être emmenés.
Élève de René Simon, il obtient dès 1960 un rôle clé dans la Vérité, film très attendu d'Henri-Georges Clouzot avec Brigitte Bardot.
Remarquable comédien au physique de jeune premier, il tourne beaucoup, mais trouve plutôt sa véritable dimension au théâtre.
En 1966-1968, il participe à de nombreux spectacles mis en scène au Théâtre-Antoine par Claude Régy et contribue à la révélation en France du théâtre anglais contemporain, Pinter en tête. Au cinéma, il est choisi par des auteurs tels que Franju (Thérèse Desqueyroux, 1962), Michel Deville (L'Appartement des filles, 1963), Godard (Bande à part, 1964), Pollet (Une balle au cœur, 1965), Klein (Qui êtes-vous, Polly Maggoo ?, 1966), Rappeneau (Les Mariés de l'an II, 1970), Belmont (Rak, 1972), Sautet, qui lui confie l'un des trois rôles principaux de César et Rosalie (1972) aux côtés d'Yves Montand et Romy Schneider, Adam (M comme Mathieu, 1973), Duras (Jaune le soleil, id.), Serreau (Pourquoi pas !, 1977), Miller (Mortelle Randonnée, 1983), Doillon (La Vie de famille, 1985), Rouffio (L'État de grâce, 1986), Drach (Sauve toi Lola, id.), Sanders-Brahms (Laputa, 1987), Delvaux (L'Œuvre au noir, 1988), von Trotta (L'Africana, 1990) sans que Sami Frey accède cependant à une notoriété à la mesure de son talent.
En 1974, Sami Frey réalise le Making of de Jeanne Dielman, 23, quai du commerce, 1080 Bruxelles, sur le film de Chantal Akerman, France-Belgique, 60 min, en noir et blanc.
Il fut le compagnon de la comédienne Delphine Seyrig.