В 1965 году Арнольда в возрасте 18 лет призвали в австрийскую армию на 1 год, где он получил воинскую специальность механика-водителя танка M47 Patton II. Будущий губернатор Калифорнии получил эту должность, несмотря на то, что в австрийской армии на неё обычно назначали лиц в возрасте от 21 года. Только в армии впервые Арнольд начал каждый день есть мясо.
Он принял участие в конкурсе «Мистер Европа» среди юниоров и выиграл его; ради конкурса он ушёл в «самоволку», после чего на два месяца попадает в военную тюрьму (по другим данным — на две недели на гауптвахту). Сам Шварценеггер пишет в своей книге «Воспитание культуриста», что сидел в карцере одну неделю, после чего ему дали двухдневный отпуск, так как офицеры посчитали, что его победа принесла некоторый престиж армии. Вопреки распространённому мнению, это выступление не было дебютом; дебют состоялся двумя годами ранее на менее известном состязании в Граце, где Арнольд занял второе место.
Как впоследствии рассказывал будущий губернатор Калифорнии, он смог найти время и место для тренировок даже во время тактических учений, когда несколько недель жил в полевых условиях. Он оборудовал штангу из подручных материалов и хранил её в танке.
« Я добился большого прогресса на начальном этапе своих тренировок, когда служил в австрийской армии и имел много всяких дел. Когда мы в течение шести недель участвовали в манёврах вдоль чехословацкой границы, мне приходилось водить танк по пятнадцать часов в день, закачивать топливо при помощи ручного насоса, «бороться» с огромными топливными бочками и заниматься ремонтом. Мы спали в окопах или под танками и должны были вставать в шесть часов утра. Однако мы с приятелем вставали в пять, залезали в отсек для танковых инструментов, в котором хранили свои штанги, и до общего подъёма тренировались целый час. После окончания дневной части учений мы тренировались ещё один час. Я не могу представить более тяжёлых условий для тренировок и поэтому утверждаю, что найти время и силы для занятий — это вопрос мотивации и заинтересованности. Настоящий атлет всегда, в любой ситуации найдёт время и место для тренировок. »
Вместе с тем, как он признался впоследствии, он не был идеальным солдатом, и один раз утопил свой танк.
Описывая свою службу в армии, Арнольд в автобиографии рассказывает, с каким нетерпением он ждал приказа офицеров приступить к физической подготовке, а главным итогом службы называет существенное наращивание мышечной массы.

В сентябре 1968 Арнольд в возрасте 21 года прибывает в Америку. По его собственному признанию, на тот момент он плохо владел английским и разговаривал с сильным акцентом, что создавало ему трудности. По словам Арнольда, переезд в США был его мечтой с 10 лет. В конце 1960-х — начале 1970-х годов он находится в стране нелегально, нарушая условия своей визы.
Он начинает заниматься в клубе Gold's Gym (англ.)русск. в Санта-Монике, Калифорния, под патронажем Джо Вейдера. В 1970 году в возрасте 23 лет выигрывает свой первый титул «Мистер Олимпия» в Нью-Йорке.
В 1983 году получил гражданство США, сохраняет гражданство Австрии.