En 1938, à l'âge de 19 ans, il fait son service militaire et suit à Kiev une école de conducteurs de chars et montre son intérêt en mettant au point des améliorations pour le Tokarev TT 33, la tourelle de char et un réservoir de moto. Devant cette aptitude, le maréchal Joukov l'envoie suivre un cours de mécanique spécialisée dans la construction de chars d'assaut.

En tant que conducteur de char, il est blessé grièvement pendant la guerre lors de la bataille de Briansk en 1941 lors de l'opération destinée à stopper la percée allemande vers Moscou. Il fait un long séjour à l'hôpital et durant sa convalescence, il se met à dessiner des modèles de pistolets car il avait été frappé par la supériorité technique de l'équipement des soldats de l'armée allemande. Il a l'idée de créer un fusil d'assaut petit, fiable et rapide et de le présenter au maréchal de l'artillerie Nikolaï Voronov. Ce dernier le soutient et le pousse à perfectionner son fusil-mitrailleur qui finalement sera retenu par l'État soviétique pour être produit à partir de 1947. Ce fusil est nommé Avtomat Kalachnikova 1947, le célèbre AK-47 (communément appelé « Kalachnikov » ou « Kalach »). Sa simplicité, sa légèreté et sa rusticité en font un succès mondial, qui aurait été produit à plus de cent millions d'unités, copies comprises. Cependant, la propriété intellectuelle étant collective en droit soviétique, le succès de l'invention n'a pas fait la richesse de l'inventeur, qui a gardé des revenus modestes.

Au total, Mikhaïl Kalachnikov a créé à peu près cent cinquante armes diverses. Il est, selon sa biographie, l'homme le plus décoré de la Russie (ordre de Lénine, prix Staline 1949, deux médailles étoilées de Héros du travail socialiste). Il est fait docteur des sciences et techniques en 1971 et a fait déposer 35 brevets d'invention. Il a été fait général en 1994.

Il fut député au Soviet suprême sous Staline puis sous Khrouchtchev. Il vécut à Ijevsk dans l'Oural, où est installée l'usine d'armements Ijmach. Il a eu un fils, Viktor, qui travaille dans l'usine Ijmach.

Le fait que le fusil de Kalachnikov soit devenu le fusil d'assaut le plus populaire du monde lui a fait affirmer que : « Je suis fier de mon invention, mais je suis triste qu'elle soit utilisée par des terroristes » pendant une visite en Allemagne, ajoutant : « Je préférerais avoir inventé une machine que les gens peuvent utiliser et qui aiderait des fermiers dans leur travail… par exemple une tondeuse. »

Il a déclaré en 2009 que « ce n'est pas agréable de voir que toutes sortes de criminels tirent avec mes armes. »

Il meurt d'une ulcère gastro-duodénal le 23 décembre 2013 à l'âge de 94 ans.