西北有隗嚣据天水(郡治平襄，今甘肃通渭西北)、刘秀部将邓禹据枸邑(今陕西旬邑东北)，使赤眉军无法向西北发展;加之关中屡遭战乱，人民饥馑，地方豪强隐粮聚众，坚壁抗拒。
赤眉大军实际上困处长安，四面受敌。在这种形势下，赤眉军领导者未能采取任何积极措施，反而论功争赏，以至在推翻更始帝刘玄仅四个月后，因粮食补给困难，不得不暂弃长安，向陇(今甘肃庄浪东南)就食。建武二年九月，又因隗嚣的袭击及大雪阻挡及杜陵之战战败，回军再入长安。十二月，赤眉20余万人终因补给断绝，弃长安东归。此时，刘秀已建都洛阳并遣兵攻占了洛阳以南及以东地区，刘秀部将冯异等先行占据华阴、新安(今河南渑池东)，宜阳(今河南宜阳西北)，堵住了赤眉军东归要道。
刘秀还定下若赤眉东撤，则以宜阳之兵向新安聚集;若南撤，则以新安之兵向宜阳聚集的截击战略。建武三年正月，赤眉军东归至华阴与冯异军相遇。华阴、湖县两战(参见湖县之战)，赤眉军虽战败汉军，但仍未改变其饥疲困境。随后，被冯异军击败于崤底(崤山谷地)(参见崤底之战)，损失8万余人。樊崇率余部10几万人折向东南，又被刘秀亲率的重兵包围于宜阳(参见宜阳之战)，虽经苦战，终因粮尽力竭，被迫投降。
点评：赤眉军在获胜之后，没有注意形势的严峻，未能采取任何积极措施，反而论功争赏，它同所有失败的农民起义一样，没有远大的战略眼光(如陈胜吴广起义、绿林起义、黄巾农民起义、隋末农民起义、黄巢起义、明末李自成、张献忠农民起义、太平天国运动)，最终导致失败。赤眉农民义军，是新莽末农民起义战争中的一支重要力量，它与绿林军相互呼应，对推翻新莽政权发挥了重要作用，在中国古代农民战争史上占有重要地位。