率大军撤回西安后，李自成心里一直憋着一股气。再次拿下北京城，在紫禁城面南背北，成了他每时每刻的念想。
甲申年十月中，李自成指挥晋南袁宗第、刘忠两部发起对河南怀庆府的反攻，围了怀庆府城沁阳。
大清摄政王多尔衮大惊，急令准备南下攻击南明政权的多铎停止南进，转而向西救援怀庆，并顺势西进潼关，与在陕北进攻大顺军的阿济格部一起，对西安形成了两面夹击之势。
多铎率军疾援怀庆，大顺军遭受重创，余部退至山西。多铎乘胜从孟津渡渡黄河，直指潼关。
李自成原准备到陕北和高一功会合，迎战阿济格。得到清军主力西进这个消息，他非常震惊。北上还是南下？他举棋不定，所率大军因此在洛川一带停留近十日，才最终决定南下救援潼关。
甲申年腊月二十二，清军多铎部抵达潼关。李自成据关坚守，多铎指挥旗下一部从山西蒲津渡渡黄河入陕，直接从后方威胁潼关。
潼关战役从腊月二十九一直打到次年正月十一。中间，大顺军多次出关迎战清军，皆失利。
潼关战况不利，陕北李过、高一功部又无法阻挡阿济格大军夹击西安。得到消息的李自成唯恐西安陷落后陷入两面受敌的窘境，无奈之下，于乙酉年（1645）正月十一，将大军尽数调回西安。
高夫人所率大顺军女营，本是同闯王一同北上陕北会合李过、高一功部的，在洛川李自成决定回兵南下救守潼关时，就已与李自成分兵。
凭着女性本能的敏感，她嗅到了大顺军此次面临的危机，深为在西安的老营担忧。闯王走后，她留一部人马与自己继续驻扎洛川，寻机与陕北李过和高一功会合，另遣一部人马急返西安，做老营撤退的准备。
陕北和潼关一带的大顺军均遭清军逼压。老营妇幼和辎重物资的最好去处，只有凤翔和陕南汉中一带。
甲申年大年三十，潼关战役开打的第二天，留在西安的老营就开始撤离。童子营在最先撤离的队伍里。
童子营的撤离，让王耀文感受到了巨大的危机。
李自成率部弃守潼关当天，潼关即被清军占领。多铎和阿济格两路大军兵锋直逼西安。李自成仅在西安耽搁了一天，于乙酉年正月十三就率所辖队伍经商州、南阳，撤往荆楚。
作为非战斗人员，大顺军出征时王耀文就留在了西安。这一次，他也不在随大部队撤离的人员之列。
但是，当大顺军大部队撤离西安，王耀文也匆忙离开。他没追随战斗部队前往湖北，而是循着童子营的撤离路线，向凤翔方向追去。他知道，放弃西安，大顺军将再次陷入流寇状态，后勤保障将陷入困难，酒水采办更会是一个多余的角色。在这种情况下，儿子才是他更重要的选择。
战事吃紧，童子营撤离西安到凤翔一带后，没有了明确方向，一直滞留在凤翔待命。
王耀文离开西安后只人快马，于次日就追上了童子营的脚步，并一同滞留在凤翔。
乙酉年正月十八，西安陷落。清军主要目标是追击大顺军主力，凤翔、汉中一带仍为大顺军据有，童子营也算暂时平安。