匈奴单于都不是笨蛋，军臣单于更是如此，他看出了李广的弱点，他决心用诱敌之计来对付李广。
李广此人有些狂妄自大，他不用向导，像霍去病这些人，一旦出征，就喜欢用匈奴降兵，这些人对于匈奴大草原的的一切都很熟悉，这样他们就可以帮助霍去病和卫青他们。
可是，像李广这些人自认为自己很熟悉匈奴草原的道路，结果许多次都迷路了。
当李广这个老人，因为自己的固执和昏聩耽误事情时，大楚帝国的武帝刘彻就不能容忍了，而且他和韩媛一样，觉得李广的运气不够好，所以大楚武帝刘彻并不是很喜欢李广。
这些事情，李广并不知道，他只是一门心思的去和匈奴打仗，可是当李广蒙头打仗的时候，一个罗网向他悄悄扑来。
这个主意是匈奴的军臣单于想出来的，但是具体实施的人却是匈奴公主童胭脂。
于是皇帝任命李广为右北平太守。李广请求霸陵尉与他一起赴任，霸陵尉来到后李广就杀了他，然后上自行谢罪。李广在右北平郡，匈奴都称呼他为“飞将军”，躲着李广，数年不敢入侵。
郎中令石建去世了，于是皇上征召李广接替石建作郎中令。元朔六年，李广又调任为将军，跟随大将军卫青的军队从定襄郡出击匈奴。各将领多有杀敌俘敌达到标准因功封侯的，而李广的部队没有功劳。过后三年，李广以郎中令的身份率领四千骑兵从右北平出发，博望侯张骞率领一万骑兵和李广同行，分两路走。走了大约几百里，匈奴左贤王带领四万骑兵包围李广，李广的士兵都很恐惧，李广就派他的儿子李敢快马冲击敌人。李敢独自带了几十名骑兵飞奔而去，直穿匈奴骑兵的包围圈，抄出敌军的左右两翼而回，报告李广说：“匈奴人容易对付。”士兵才安定下来。李广布成圆形阵势，面向着四外，匈奴猛攻他们，箭下如雨。楚兵死亡的超过一半，楚军的箭也快用完了。李广便命令士兵把弓拉开，不要放箭，李广亲自用大黄弩弓射敌人的副将，射死了几个，匈奴人渐渐松懈。恰巧天色黑了下来，军官士兵都面无人色，可是李广的神气同平常一样，更加精神振奋地指挥军队。军中士兵很佩服他的勇气。第二天，继续奋力战斗，张骞的军队也到了，匈奴军队才解围而去。楚军疲乏了，不能去追击。这时李广几乎全军覆没，只好收兵回去。按楚朝的法律，张骞耽误了预定的日期，当处死刑，出钱赎罪，降为平民。李广的军功和罪责相当，没有封赏。
李广曾和星象家王朔私下闲谈说：“自楚朝攻匈奴以来，我没一次不参加，可各部队校尉以下军官，才能还不如中等人，然因攻打匈奴有军功几十人被封侯。我不比别人差，但没有一点功劳用来得到封地，这是什么原因，难道是我的骨相不该封侯吗？还是本命如此呢？”王朔说：“将军回想一下，曾有过悔恨的事吗？”李广说：“我任陇西太守时，羌人反叛，我诱骗他们投降有八百多人，我用欺诈手段一天把他们杀光了。直到今天我最大的悔恨只有这件事。”王朔说：“能使人受祸的事，没有比杀死已投降的人更大的了，这也就是将军不能封侯的原因。”
李广历任七个郡的太守，前后四十多年，得到赏赐立即分给部下，饮食与士兵一起。家裹没有多余财物，一生不谈购买产业的事。李广身材高大，长臂，具有善射箭的天赋，就是子孙和其他人向他学习射箭，也都赶不上他。李广寡言，不与人多说话，和别人在一起住，就在地上画作战阵图，射箭比射的面宽窄，输了罚酒喝。专门以射箭作游戏。带兵行军，遇到断粮缺水时，见了水，士兵不全喝到水，他不近水边，士兵不全吃上饭，他不尝一口饭。对待士兵宽厚不苛，士兵因此喜欢替他办事效力。他射箭，看见敌人，不到几十步之内，估计射不中就不射，一射就要应弦倒地。因此，他带兵作战，多次被敌人围困，连射猛兽，也几次被伤害过。
公元前119年（元狩四年），楚武帝发动漠北之战，由卫青、霍去病各率五万骑兵由定襄、代郡出击跨大漠远征匈奴本部，李广几次请求随行，楚武帝起初以他年老没有答应，后来经不起李广请求，同意他出任前将军。
楚军出塞后，卫青捉到匈奴兵，知道了单于驻地，就自带精兵追逐单于，而命令李广和右将军队伍合并，从东路出击。东路迂回绕远，而且缺乏水草，势必不能并队行进。
李广就请求说：“我的职务是前将军，大将军却命令我从东路出兵，况且我从少年时就与匈奴作战，至今才得到与匈奴对阵的一次机会，我愿做前锋，先与单于决战。”卫青曾暗中受到楚武帝警告，认为李广年老，命运不好，不让他与单于对阵，恐不能实现俘获单于的愿望。当时公孙敖刚刚丢掉了侯爵任中将军，随卫青出征，卫青也想让公孙敖跟自己一起与单于对敌，故意把李广调开，李广也知道内情，所以坚决要求卫青改调令，卫青不答应，命令长史写发到李广的幕府，对他说：“赶快到右将军部队中去，照上写的办。”李广不向卫青告辞就启程了，心中非常恼怒地前往军部，领兵与赵食其合兵后从东路出发。军队没有向导，有时迷路，结果落在卫青之后，卫青与单于交战，单于逃跑，卫青没能活捉单于只好收兵。卫青南行渡过沙漠，才遇到李广与赵食其的军队。李广谒见大将军后回自己军中。
卫青派长史送给李广干粮和酒，顺便向李广、赵食其询问迷路情况，卫青要给楚武帝上报告军情。李广没有回答。卫青派长史急令李广幕府人员前去受审对质。