依照古人的观念，一个人若奇事多，就预示着他不同凡人，不是龙种便是怀揣异心。这还了得？于是多位官员接连上奏天子，称天象恶变，必有世间奇人作怪，坚决要求将狄青逐出京城。用宋人王栢的话说就是童谣方息，角犬成妖。宰相文彦博曾为狄青说过几句好话，便受到指责。
其实，当时有关的传闻固然对狄青不利，但最终导致其罢官的原因恐怕还不至于此。据记载，狄青入枢密院后，不仅广大士兵将他视为自己的英雄，对外人夸耀，而且京城内外的民众也深为其事迹所折服，广为传颂其材武精神，民间还传说他是天上的武曲星下凡。以至于狄青每次出门，都有许多百姓跑来围观，将大路拥堵得无法通行。在当政者看来，这无异于鼓动民众好勇斗狠，鼓励军功，若就此下去不仅会影响到苦心营造出的崇文价值观与风尚，进而还可能威胁到社稷的安全。
到嘉祐元年（1056）八月间，天气炎热得令人心烦，久患疾病的仁宗皇帝病情加重，卧床不起。臣僚们忧心的不仅是天子的重病，更操心天子一直无子，如何传承皇位成了大问题。当群臣议论立皇嗣的大事时，谈着谈着又捎带着扯到狄青的身上。翰林学士欧阳修指出：武臣掌握了朝廷机密与军情，岂是国家之利？狄青本人固然没有恶意，不幸为军人们所拥戴，深恐因此陷狄青于不仁不义，就此为国家生出事端来。这话说得婉转，可透的却是杀气，一句话就是狄青对朝廷已构成潜在威胁，因此必须罢免其职，防患于未然。大文学家欧阳修也是大历史学家，用唐末五代兵变的惨痛教训为说辞，马上就打动了宰执大臣。
在如此强大的舆论攻势下，疑心颇重的当政者终于抛弃了狄青。宰相文彦博提议以使相官衔来安抚狄青，再安排到地方赋闲。当仁宗对文彦博说出狄青忠臣的话时，文丞相当即告诫天子：我太祖皇帝岂非周世宗的忠臣？但因得到军心所以有陈桥之变。仁宗一听哑口无言了。随后，文彦博又公开对前来喊冤的狄青绝情地说：没有其他理由，就是朝廷怀疑你！狄青闻听此话，大吃一惊，惊恐得连退数步。至此，再也无人愿为他辩护了。用清初思想家王船山的话说，狄青最终颠倒于廷臣之笔舌下。
在流言蜚语缠身之下，狄青被打发到陈州任地方长官，其实不过是挂名而已，具体事务都由僚属来做。从表面看，他的待遇倒是不低，节度使加上同平章事的头衔，也就是所谓的使相，其俸禄甚至比宰相还要高些，但却是在异常情况下远离了庙堂。
即使如此，当权者对狄青仍不放心，每月都两次专门派遣宦官来探问，其实便是监视其举动。据说，每当闻知使者到来，他都惊疑终日。当年十一月里，王德用也因同样的遭遇被逐出京师，最高军事决策机关的枢密院内成了一色的文士天下。狄青听到这一消息后，作何感想已不得而知，但可以肯定的是对他又是一记打击。真是英雄末路，四面楚歌，风声鹤唳，悲凉之感怎能不油然涌起？纵使狄青强硬如铁的身躯，也抵不住悲愤的无穷侵蚀。征蓬出汉塞，归雁入胡天。大漠孤烟直，长河落日圆。其实狄青的遭遇，正是宋朝武将群体境遇的一个缩影。
狄青到任不过半年左右，便郁闷而死，一代名将之星陨落于中原大地，时年仅50岁。仁宗皇帝闻知噩耗，悼伤不已，为之特辍朝两日。朝廷追赠其中书令的官衔，定谥号为武襄。
当日，朝臣王珪奉诏为亡臣撰写神道碑，碑文内容很长，最后的文字为：汾晋之气，蒙于崆峒。有如其人，武襄之雄。始来京师，感慨从军。以节自发，孰莫不闻。元昊雄奸，归节塞下。西边用兵，露甲在野。公出大里，至于杏林。奇谋纵横，以詟戎心。上顾将帅，威名无如。来汝陪予，秉国之枢。盗起南荒，乘边弛防。陷邕围广，妖雾以猖。公于上前，愤然请讨。贼失昆仑，膏血原草。还服在廷，越兹累年。夙夜乃事，匪图弗宣。将相出藩，年甫五十。公不复还，天子为泣。生莫与荣，没莫与哀。彝常之载，其绩有来。有勤其初，有大其后。书德于诗，以质不朽！可谓总结了狄青的一生事迹，并给予高度评价。读到这些文字，后世自然充满同情，却不知当年文彦博、欧阳修等人作何感想？
十多年后，神宗皇帝了解到狄青的功业，对这位名将极为钦佩，特意找来他的画像挂在宫内，并亲自御笔撰写了祭文，遣使祭奠。这份御制祭文，在宋人笔记《能改斋漫录》卷十四中还能看到，可谓字字动情，句句感怀。
狄青身后，其家人境况也值得一提。狄青妻子魏氏生前封定国夫人，共育有六子、二女。六个儿子都因父亲的功勋荫补为官，其中两位早逝，而以次子狄谘、三子狄詠以后名气较大。狄谘官至东上閤门使、提举河北义勇保甲，他的前一个头衔属于中高级武阶官衔，后者则是负责河北大区后备役武装的指挥官；狄詠也做到了东上閤门使，当过成都府利州路钤辖等官职，也就是四川腹地驻军的长官。
狄青长得相貌堂堂，基因也传给了后代。哲宗皇帝在位期间，为了给自己的公主妹妹寻找驸马颇费心思，大臣们推荐的许多世家子弟都看不上眼。近臣不得已便询问有何标准，哲宗答曰：要像狄詠的样子才行。狄詠仪表不凡，是一个美男子，但早已婚配，所以只能当样子了。此事传出宫廷，世间遂称狄詠为人样子。另外，太后与大臣为少年天子哲宗选皇后时，狄谘的女儿一度也入选，并得到太后的认可，后因其非正房所生等原因，而最终落选。
其实，当时有关的传闻固然对狄青不利，但最终导致其罢官的原因恐怕还不至于此。据记载，狄青入枢密院后，不仅广大士兵将他视为自己的英雄，对外人夸耀，而且京城内外的民众也深为其事迹所折服，广为传颂其材武精神，民间还传说他是天上的武曲星下凡。以至于狄青每次出门，都有许多百姓跑来围观，将大路拥堵得无法通行。在当政者看来，这无异于鼓动民众好勇斗狠，鼓励军功，若就此下去不仅会影响到苦心营造出的崇文价值观与风尚，进而还可能威胁到社稷的安全。
到嘉祐元年（1056）八月间，天气炎热得令人心烦，久患疾病的仁宗皇帝病情加重，卧床不起。臣僚们忧心的不仅是天子的重病，更操心天子一直无子，如何传承皇位成了大问题。当群臣议论立皇嗣的大事时，谈着谈着又捎带着扯到狄青的身上。翰林学士欧阳修指出：武臣掌握了朝廷机密与军情，岂是国家之利？狄青本人固然没有恶意，不幸为军人们所拥戴，深恐因此陷狄青于不仁不义，就此为国家生出事端来。这话说得婉转，可透的却是杀气，一句话就是狄青对朝廷已构成潜在威胁，因此必须罢免其职，防患于未然。大文学家欧阳修也是大历史学家，用唐末五代兵变的惨痛教训为说辞，马上就打动了宰执大臣。
在如此强大的舆论攻势下，疑心颇重的当政者终于抛弃了狄青。宰相文彦博提议以使相官衔来安抚狄青，再安排到地方赋闲。当仁宗对文彦博说出狄青忠臣的话时，文丞相当即告诫天子：我太祖皇帝岂非周世宗的忠臣？但因得到军心所以有陈桥之变。仁宗一听哑口无言了。随后，文彦博又公开对前来喊冤的狄青绝情地说：没有其他理由，就是朝廷怀疑你！狄青闻听此话，大吃一惊，惊恐得连退数步。至此，再也无人愿为他辩护了。用清初思想家王船山的话说，狄青最终颠倒于廷臣之笔舌下。
在流言蜚语缠身之下，狄青被打发到陈州任地方长官，其实不过是挂名而已，具体事务都由僚属来做。从表面看，他的待遇倒是不低，节度使加上同平章事的头衔，也就是所谓的使相，其俸禄甚至比宰相还要高些，但却是在异常情况下远离了庙堂。
即使如此，当权者对狄青仍不放心，每月都两次专门派遣宦官来探问，其实便是监视其举动。据说，每当闻知使者到来，他都惊疑终日。当年十一月里，王德用也因同样的遭遇被逐出京师，最高军事决策机关的枢密院内成了一色的文士天下。狄青听到这一消息后，作何感想已不得而知，但可以肯定的是对他又是一记打击。真是英雄末路，四面楚歌，风声鹤唳，悲凉之感怎能不油然涌起？纵使狄青强硬如铁的身躯，也抵不住悲愤的无穷侵蚀。征蓬出汉塞，归雁入胡天。大漠孤烟直，长河落日圆。其实狄青的遭遇，正是宋朝武将群体境遇的一个缩影。
狄青到任不过半年左右，便郁闷而死，一代名将之星陨落于中原大地，时年仅50岁。仁宗皇帝闻知噩耗，悼伤不已，为之特辍朝两日。朝廷追赠其中书令的官衔，定谥号为武襄。
当日，朝臣王珪奉诏为亡臣撰写神道碑，碑文内容很长，最后的文字为：汾晋之气，蒙于崆峒。有如其人，武襄之雄。始来京师，感慨从军。以节自发，孰莫不闻。元昊雄奸，归节塞下。西边用兵，露甲在野。公出大里，至于杏林。奇谋纵横，以詟戎心。上顾将帅，威名无如。来汝陪予，秉国之枢。盗起南荒，乘边弛防。陷邕围广，妖雾以猖。公于上前，愤然请讨。贼失昆仑，膏血原草。还服在廷，越兹累年。夙夜乃事，匪图弗宣。将相出藩，年甫五十。公不复还，天子为泣。生莫与荣，没莫与哀。彝常之载，其绩有来。有勤其初，有大其后。书德于诗，以质不朽！可谓总结了狄青的一生事迹，并给予高度评价。读到这些文字，后世自然充满同情，却不知当年文彦博、欧阳修等人作何感想？
十多年后，神宗皇帝了解到狄青的功业，对这位名将极为钦佩，特意找来他的画像挂在宫内，并亲自御笔撰写了祭文，遣使祭奠。这份御制祭文，在宋人笔记《能改斋漫录》卷十四中还能看到，可谓字字动情，句句感怀。
狄青身后，其家人境况也值得一提。狄青妻子魏氏生前封定国夫人，共育有六子、二女。六个儿子都因父亲的功勋荫补为官，其中两位早逝，而以次子狄谘、三子狄詠以后名气较大。狄谘官至东上閤门使、提举河北义勇保甲，他的前一个头衔属于中高级武阶官衔，后者则是负责河北大区后备役武装的指挥官；狄詠也做到了东上閤门使，当过成都府利州路钤辖等官职，也就是四川腹地驻军的长官。
狄青长得相貌堂堂，基因也传给了后代。哲宗皇帝在位期间，为了给自己的公主妹妹寻找驸马颇费心思，大臣们推荐的许多世家子弟都看不上眼。近臣不得已便询问有何标准，哲宗答曰：要像狄詠的样子才行。狄詠仪表不凡，是一个美男子，但早已婚配，所以只能当样子了。此事传出宫廷，世间遂称狄詠为人样子。另外，太后与大臣为少年天子哲宗选皇后时，狄谘的女儿一度也入选，并得到太后的认可，后因其非正房所生等原因，而最终落选。