En 1969, il rencontre Barbara Outland Baker, alors serveuse dans un restaurant situé près du Gold's Gym, avec qui il vit en couple jusqu'à leur séparation en 1974. Le couple se rencontre 6 à 8 mois après l'arrivée d'Arnold aux États-Unis. À leur premier rendez-vous, ils regardent l'alunissage d'Apollo à la télévision. Ils partagent un appartement à Santa Monica pendant trois ans et demi et ayant peu d'argent, ils vont à la plage tous les jours et font des barbecues dans le jardin. Barbara Baker a déclaré qu'Arnold était un « self-made-man autant qu'il est possible de l'être — il n'a jamais reçu d'encouragement de ses parents, de sa famille, de son frère. Il avait juste son immense détermination et son charisme ». Dans ses mémoires de 1977, Arnold: The Education of a Bodybuilder, Schwarzenegger raconte à propos de Barbara : « Elle était une femme équilibrée qui voulait une vie ordinaire et solide. Je n'étais pas un homme équilibré et je haïssais l'idée même d'une vie ordinaire ». Dans une interview réalisée en 2003, où elle défend Schwarzenegger contre certaines attaques – on lui reprochait alors notamment d'avoir traité les homosexuels de pédés dans une interview de 1977 pour le magazine Oui –, Baker décrit Schwarzenegger comme « une personnalité joyeuse, totalement charismatique, aventureuse et athlétique » mais déclare qu'à la fin de leur relation, il était devenu « insupportable, le monde tournant autour de lui ». En 2006, elle publie ses mémoires, préfacées par Schwarzenegger, dans Arnold and Me: In the Shadow of the Austrian Oak.

En juillet 1977, il rencontre à Venice Beach Sue Moray, une assistante-coiffeuse de Beverly Hills. D'après celle-ci, ils entretiennent une relation libre : « Nous étions fidèles lorsque nous étions tous les deux à LA… mais lorsqu'il était hors de la ville, nous étions libres de faire ce que nous voulions ». Un mois plus tard, Schwarzenegger fait connaissance de Maria Shriver, de la famille Kennedy. Il entretient une relation avec les deux femmes jusqu'en août 1978, date à laquelle Sue Moray, qui connaît sa relation avec Shriver, lui fixe un ultimatum pour faire un choix entre elles. Schwarzenegger choisit Maria Shriver.

Schwarzenegger raconte que, durant cette période, il est allé voir un ami pour qu'il lui enseigne la méditation transcendantale, ce qui l'a incité à révéler pour la première fois de sa vie qu'il était aux prises avec l'anxiété : « Même aujourd'hui, je profite encore de [l'année de méditation] ».

Devenu citoyen américain après sa naturalisation en 1983 (il détient ainsi la double nationalité austro-américaine), il se marie le 26 avril 1986 à Hyannis dans le Massachusetts avec Maria Shriver, journaliste de télévision et fille de Sargent Shriver, ancien ambassadeur des États-Unis en France et candidat à la vice-présidence des États-Unis en 1972, et d'Eunice Kennedy, sœur du président John Fitzgerald Kennedy. La cérémonie, présidée par le révérend John Baptist Riordan, se déroule à l'église catholique romaine St. Francis Xavier. Caroline Bouvier Kennedy, cousine de la mariée, est demoiselle d'honneur alors que Franco Columbu est le témoin de Schwarzenegger. Le couple a quatre enfants :

Katherine Eunice, née le 13 décembre 1989 ;

Christina Maria, née le 23 juillet 1991 ;

Patrick Arnold, né le 18 septembre 1993;

Christopher Sargent, né le 27 septembre 1997.

Le 9 mai 2011, après 25 ans de mariage, Arnold Schwarzenegger et Maria Shriver annoncent leur séparation. L'acteur révèle quelques jours plus tard qu'il a eu un enfant caché (Joseph Baena, né le 2 octobre 1997) avec une de ses employées de maison, Mildred Baena, pour expliquer sa séparation avec Maria Shriver, qui demande le divorce le 1^er juillet.