Fils d'agriculteurs normands, il admire Fernandel et tente de devenir artiste lui aussi. Au départ musicien et chanteur de music-hall et d'opérette, il connaît le succès à la Libération avec la chanson Les Crayons et en se créant un rôle caricatural de paysan normand naïf et benêt, puis avec d'autres chansons sur deux décennies, comme À bicyclette, Salade de fruits, Un clair de lune à Maubeuge et La Tendresse. Il est également tête d'affiche de spectacles populaires, dont La Route fleurie, Pacifico, La Bonne Planque et Ouah ! Ouah !.

En parallèle, il se tourne rapidement vers le cinéma, où il transpose son « comique-paysan », dans des comédies comme Pas si bête (1946), Le Roi Pandore, Le Rosier de madame Husson et Miquette et sa mère (1950), Le Trou normand (1952), Les Trois Mousquetaires (1953) ou encore Les Hussards (1955). Son personnage évolue peu à peu, puis sa carrière prend un tournant grâce à son rôle dramatique d'un chômeur faisant du marché noir sous l'Occupation dans La Traversée de Paris (1956), qui lui vaut le prix d'interprétation de la Mostra de Venise.

Dès lors, il accède à un statut de vedette populaire au répertoire large, alternant les drames et les comédies jusqu'à sa mort en 1970, un grand nombre de ses films s'établissant comme les succès de l'époque ou devenant des classiques du cinéma français, tels que Les Misérables et Le Miroir à deux faces (1958), Le Bossu (1959), Le Capitan et Fortunat (1960), Un drôle de paroissien, Le Magot de Josefa et La Cuisine au beurre (1963), La Cité de l'indicible peur (1964), Le Corniaud, La Grosse Caisse et Les Grandes Gueules (1965), La Grande Vadrouille (1966), La Grande Lessive (!) (1968), Le Cerveau et L'Arbre de Noël (1969), et enfin Le Mur de l'Atlantique et Le Cercle rouge (1970).

Il est le père de l'homme politique Dominique Raimbourg et de l'économiste Philippe Raimbourg.