שירותו הצבאי
בתאריך ה-8 בנובמבר 1959 התגייס לצה"ל. לאחר שלא הצליח להגשים את חלומו והודח מן המיונים לקורס טיס, עקב בעייה גופנית שמאוחר יותר הוכחה כשגויה (דלקת כרונית בגרון), ברק התחיל את שירות בגדוד 9 של חרמ"ש. אחרי הטירונות אותר והגיע לשרת בסיירת מטכ"ל, עליה גם פיקד. בסיירת הוא השתתף במבצעים עלומים כמו גם מפורסמים כמו שחרור מטוס סבנה החטוף בשנת 1972 ומבצע אביב נעורים בשנת 1973. הוא גם היה ממתכנני מבצע אנטבה.

ברק חולק עם סרן נחמיה כהן את תואר "החייל המעוטר ביותר בצה"ל", והוא נושא את עיטור המופת וכן ארבע פעמים את צל"ש הרמטכ"ל.

בשנת 1982 הועלה לדרגת אלוף ומונה לתפקיד ראש אגף התכנון בצה"ל. בשנת 1983 מונה לתפקיד ראש אגף המודיעין. בשנת 1986 מונה לתפקיד אלוף פיקוד המרכז שבו כיהן עד שנת 1987, עת מונה לתפקיד סגן הרמטכ"ל.


רמטכ"ל
ב־1 באפריל 1991 מונה לתפקיד הרמטכ"ל, אותו מילא עד פרישתו ב־1 בינואר 1995. כרמטכ"ל היה אחראי ברק על ישום הסדרי הביטחון ויציאת כוחות צה"ל מעזה ויריחו במסגרת מימוש הסכם אוסלו א'.

כרמטכ"ל, ביקש ממנו ראש הממשלה דאז יצחק רבין לקחת חלק מרכזי בגיבוש הסכם השלום עם ירדן שנחתם בשנת 1994. ברק גם היה שליחו של רבין לשיחות עם סוריה ולבנון באותה שנה.

בזמן תקופת הצינון לאחר פרישתו מצה"ל ולפני תחילת הקריירה הפוליטית, העיבה פרשת אסון צאלים ב' על תפקודו במערכת הצבאית: ב־5 בנובמבר 1992 נהרגו חמישה חיילים ועוד שישה נפצעו באימון לקראת מבצע שנועד, על פי מקורת זרים, לחסל את נשיא עיראק סדאם חוסיין. בתחקיר שהתפרסם ב"ידיעות אחרונות", טענו חיילים שהשתתפו בתרגיל כי ברק נטש את המקום לפני הגשת עזרה לפצועים. צחי הנגבי הדביק לאהוד ברק את הכינוי "אהוד ברח" כשנאם בכנסת. ב־15 במרץ 1999 פורסם דו"ח מבקר המדינה, אליעזר גולדברג, שקיבל את טענות אהוד ברק וניקה אותו מכל אשמה ("הרמטכ"ל נשאר במקום 45 דקות לפחות אחרי האסון").