都跟着跑开了，李纲喝止不住也被裹挟着向后退去。不但代州没攻下来，连忻州都给丢了，进了石岭关才算刹住了车。李纲又想起赵柽的话，收拢残兵据守两关以抗金军，同时上奏朝廷请罪…
攻代失败，金军再度逼近太原，河东大震，威胜军、隆德府、汾州、晋州、泽州、绛州的百姓纷纷渡黄河南逃，以上州县十室九空。朝廷的回复很快也下来了：停止进兵，准备议和，召李纲回京，以重病中的种师道为河东、河北宣抚使。
而朝中宰执大臣们也再次出现严重的意见分歧，太宰徐处仁、同知枢密院事许翰主战，耿南仲主和，少宰吴敏也因为李纲失利，又兼之看透了赵桓的心思，倒向了主和派。是战是和，两派争论不休。
赵桓也不敢再打下去了，于是坚持主战的许翰被罢同知枢密院事之职，贬为地方官，出知亳州。许翰被罢的第二天，徐处仁又与吴敏在赵桓面前发生激烈争论，徐处仁对吴敏倒向主和派十分愤怒，争论中言辞行为失去控制，文斗变成了武斗。正被想排挤他们的耿南仲，还有想取而代之唐恪、聂昌可算找到了机会，他们秘密授意御史弹劾这两个“有伤国体”的宰相。
赵桓把这两个宰相同时罢免，任命唐恪为少宰兼中书侍郎，何栗为中书侍郎，礼部尚书陈过庭为尚书右丞，开封府尹聂昌同知枢密院事。李纲闻讯，仰天长叹：“事无可为矣！”再次上书自请罢职。