皇太后刘娥把赵允良送出皇宫，毕竟赵允良也到了建立自己府邸、藩属的年纪。刘娥不大愿意，想要再等几年。赵允良留在皇宫，对刘太后最为有利，万一宋仁宗有个意外，自己可以继续当太后垂帘听政。可吕夷简一再坚持，并暗示继续让赵允良待在宫中，必然加深宋仁宗和刘太后之间的误会。刘太后无奈，只好送赵允良出宫。
几年后，刘太后去世，宋仁宗亲政。亲政后做的第一件大事就是清除朝廷中的太后一党，上至宰相，下至州县官员无一幸免。曾经被当作宋仁宗替补的赵允良，地位变得极为尴尬。只要赵允良露出一丝想要争夺皇权的意思，必然会受到宋仁宗的残酷打压。
在这种严酷的形势之下，华原郡王赵允良选择了白天睡大觉，晚上喝酒宴会打发光阴的方式以求自保。赵允良无非是想告诉宋仁宗，自己绝不会觊觎皇权，自己就是一个沉湎享乐的糊涂王爷。就这样，赵允良装了三十多年孙子，到宋英宗时总算是平平安安地寿终正寝了。