在匈奴建国以前，东北亚草原被许多大小不同的氏族部落割据着。那时的部落和部族联盟的情况是“时大时小，别散分离”；是“各分散居溪谷，自幼军长，往往而聚者百有余，然莫能相一”。当时分布在草原东南西喇木伦河和老哈河流域的，是东胡部落联盟；分布在贝加尔湖以西和以南色楞格河流域的，是丁零部落联盟；分布在阴山南北包括河套以南一带的，是匈奴部落联盟。此外还有部落集团分散在草原各地。后来的匈奴国，就是以匈奴部落联盟为基础，征服了上述诸部落联盟、部落以及其他一些小国而建立起来的。
自西周起，戎族开始威胁中原王朝，周幽王烽火戏诸侯后，犬戎部落攻陷镐京，迫使平王东迁。战国时林胡、楼烦多次侵扰赵国，赵武灵王胡服骑射驱逐林胡、楼烦，在北边新开辟的地区设置了云中等县。林胡、楼烦北迁融入新崛起的匈奴。
前3世纪匈奴统治结构分为中央王庭、东部的左贤王、和西部的右贤王，控制着从里海到长城的广大地域，包括今蒙古国、俄罗斯的西伯利亚、中亚北部、中国东北等地区。
战国末年，赵国名将李牧出动战车1300乘、骑兵13000人、步兵5万、弓箭手10万，与匈奴会战，大破匈奴十余万骑，从此匈奴十余年不敢南犯；秦始皇统一中国后为了打破“亡秦者胡也”的预言，公元前215年派大将蒙恬统兵30万北击匈奴，修建长城，夺回河套地区并重设九原郡。
冒顿单于继位后，开始对外扩张。在大败东胡王之后，随即并吞了楼烦、白羊河南王（匈奴别部，居河套以南），并收复了蒙恬所夺的匈奴地及汉之朝那（今宁夏固原东南）、肤施（今陕西榆林东南）等郡县。并对汉之燕、代等地进行侵掠。向西进击月氏，老上单于继位后，大败并杀死了月氏王，迫使月氏向西域迁徒。北方及西北一带的丁零、浑庾、屈射、鬲昆、薪犁等部族先后臣服于匈奴。
汉朝更与匈奴进行大规模战斗。汉初前201年，韩王信被迫投降匈奴。次年，汉高祖刘邦亲率32万大军征讨，在白登（今山西大同东北）被匈奴冒顿单于40余万骑兵围困七昼夜。后用计逃脱，之后汉朝采纳了刘敬的建议，对匈奴实行“和亲政策”，以汉室宗女嫁与单于，并赠送一定数量的财物以及开放关市准许双方人民交易。后文、景诸帝也是沿用和亲政策以休养生息。然而匈奴仍不满足，不时出兵侵扰边界。
冒顿单于时的匈奴是匈奴国的全盛时期，从前209年至前128年，即冒顿、老上、军臣三单于时期，相当于中国从秦二世元年到汉武帝元朔元年。在伊稚斜单于时期，国力被汉军打击由盛转衰。
到汉武帝时，西汉经过近70年的休养生息，经济、国力大大增强，对匈奴从战略防御转为战略进攻，发动了三次大战：河南之战（也叫漠南之战）、河西之战、漠北之战。此时正为伊稚斜单于在位时期。
元朔二年(前127年)派卫青占领河套地区。前124年派卫青等击败入侵的九万匈奴骑兵。前121年派霍去病夺取富庶的河西走廊，汉降将赵信劝匈奴把王庭迁徙到漠北，以避免受攻击，以地理的优势，以逸待劳击败汉军。前119年卫、霍分东西两路进攻漠北。霍去病打击匈奴至今日蒙古国境内狼居胥山，卫青东路扫平匈奴王庭。右贤王率领四万余人投归汉朝，汉军共获俘七万多人，伊稚斜单于及左贤王带少数人逃走。随后十几年间，匈奴避居漠北休养生息。而汉朝因人力、物资损失很大，及为了征伐朝鲜、西羌及西南夷，也暂时停止对匈奴的用兵。
汉朝在东部联合乌桓，西部派张骞两次出使西域，联络大月氏、大宛，以和亲（前105年，汉武帝封细君公主下嫁乌孙国王）、通商的方式联合西域诸国，压缩匈奴的空间。前87年，汉武帝死，汉朝暂时停止对匈奴的攻击。
汉昭帝时，匈奴为缓和与汉的敌对关系，把扣留了19年的汉使苏武释放，以示善意，但匈奴骑兵仍然不断在北方边境出现。前73年匈奴转攻西域的乌孙以索要公主（即西汉嫁给乌孙王的解优公主），乌孙向汉求救，汉朝组织五路大军十几万与乌孙联兵进攻匈奴。前71年再次联兵20几万合击匈奴，大获全胜，直捣右谷蠡王庭。
同年冬，匈奴出动数万骑兵击乌孙以报怨，适逢天降大雨雪，生还者不足十分之一。是时丁零北攻，乌桓入东，乌孙击西，匈奴元气大伤，被迫向西迁徙以依靠西域，西域再次成为双方以争夺重点。双方反复激烈争夺车师之际，前60年，匈奴内部因掌管西域事务的日逐王先贤掸与新任单于屠耆堂争夺权位发生冲突。日逐王降汉，匈奴被迫放弃了西域。汉完全控制了西域，匈奴实力大减，己无力扰汉。
此时的匈奴因战争、天灾、领土及人口的减小，处境日益困宭，内部纷争开始激化。自伊稚斜单于后，匈奴单于更迭频繁。前60年，虚闾权渠单于死，其妻颛渠阏氏与其弟都隆奇合谋立右贤王屠耆堂为单于。他上任后，排除异己，杀尽前单于所用旧人，重用自己的子弟，以致发生内讧，兵败自杀。他死后，匈奴开始争夺单于王位的内战。
公元前58年，匈奴东部姑夕王等人共立虚闾权渠单于子稽侯栅为呼韩邪单于，击败握衍朐鞮单于，握衍朐鞮自杀身亡。都隆奇等人共立日逐王薄胥堂为屠耆单于，击败呼韩邪。此时呼揭王自立为呼揭单于，右奥鞮王自立为车犁单于，乌籍都尉亦自立为乌籍单于，是为五单于争立时期。屠耆单于先后攻击乌籍、车犁，乌籍、车犁皆败走西北与呼揭合兵，呼揭、乌籍皆去单于称号，拥车犁为单于，为屠耆所败。呼韩邪乘机进攻，屠耆大败自杀，车犁也率部投降。
不久，呼韩邪兄呼屠吾斯自立为郅支单于，居东边。屠耆从弟休旬王也自立为闰振单于。前54年，闰振率军东击郅支，兵败被杀。郅支乘胜击破呼韩邪，据漠北王庭。呼韩邪单于南下投靠汉朝。后来郅支单于则率部众退至中亚康居（今巴尔喀什湖与咸海之间，即哈萨克斯坦一带），呼韩邪单于占据漠北王庭。前36年，为了清除匈奴在西域的影响，甘延寿、陈汤远征康居的匈奴，击杀郅支单于。