元狩二年（公元前121年）夏，霍去病率兵出征匈奴右贤王部，展开收复河西之战。霍去病孤军深入，并大获全胜。就在祁连山，霍去病所部斩敌三万余人，俘虏匈奴王爷五人以及匈奴大小瘀氏、匈奴王子五十九人、相国将军当户都尉共计六十三人。
此战使汉匈双方的力量对比，发生了重大的变化。此役使匈奴继失河南地后又丧失河西，其统治西部地区的根基便被彻底拔除了。此后，匈奴不仅在与汉朝争夺西域的斗争中长期陷于被动的地位，同时也在经济上遭受重大的损失，匈奴人哀歌曰：“亡我祁连山，使我六畜不蕃息；失我燕支山，位我嫁妇无颜色。”
而对汉朝来说，由于河西匈奴势力的消灭，“金城、河西并南山(祁连山)至盐泽(今罗布泊)空无匈奴”，西部边郡的人民因而得到了喘息的机会。就在河西之战胜利的当年，汉武帝下沼将陇西、北地、上郡的戍卒减少一半，“以宽天下谣役”，这对减轻人民负担，恢复和发展因长期战争而遭受巨大消耗的西汉经济，有着积极的作用。
同时，由于西汉控制了整个河西走廊，不仅切断了匈奴与西羌的联系，而且打开汉朝通往西域的道路，开始实现“断匈奴右臂”的战略目标，汉匈的实力对比因此开始发生了变化。如果说，此前汉匈双方还是保持均势的话，那么，此后匈奴便日趋衰弱并渐居下风，而汉朝的优势则日益明显，基本掌握了战争的主动权。河西之战结束后，汉武帝特嘉奖霍去病，“以干七百户益封骤骑将军”。后来，霍去病去世，汉武帝又下令隆重为其送葬，并“为冢象祁连山”，以表彰他在河西之战中的卓著功勋。这一切，充分反映了汉武帝对这次战役成果的重视。
经此一役，匈奴不得不退到焉支山北，汉王朝收复了河西平原。匈奴不得不唱出了哀歌：“亡我祁连山，使我六畜不蕃息；失我燕支山，使我妇女无颜色。”从此，祁连山掌握在汉朝手中。