蕃小赞普罩着的滋润日子里，王老先生没有忘记自己的职责与身份，自动完成了从统帅到普通间谍的角色转换。暗中对吐蕃的风土人情，山川地理进行了详尽的调查，为日后成功收复安西四镇打下了坚实的基础。
在吐蕃呆了一段时期后，满足了赞普四年父亲的情思之后，王孝杰被礼送回了唐朝。武则天上台(683年)后，王孝杰累迁右鹰扬卫将军(即右武卫将军，正四品)。692年，唐军发动收复安西四镇(碎叶、龟兹(今新疆库车)、于阗(今新疆和田西南)、疏勒(今新疆喀什))的战役，武则天以熟谙吐蕃的王孝杰为统帅讨伐吐蕃。唐军发动绝地进攻，收复安西四镇，一举摧毁吐蕃建立的西域统治体系。由于功勋卓著，得胜回朝的王孝杰被封为左卫大将军(正三品);次年还被封为同中书门下三品(正三品，宰相之职)，爵清苑县男(爵从五品)。靠着吐蕃的经历，王孝杰出将入相，为这一喜剧作出了较为美满的结局。
武则天时，任右鹰扬卫将军。由于在蕃日久，熟悉其情。长寿元年(692)，任武威军总管，与左武卫大将军阿史那忠节率兵讨击吐蕃，十月，克复龟兹、于阗、疏勒、碎叶等四镇，乃于龟兹置安西都护府，用汉兵3万人镇守。以军功拜左卫大将军。翌年，升夏官尚书，同凤阁鸾台三品，封清源男。延载元年(694)，出为瀚海道行军总管。证圣初年，又任朔方道总管，出将入相，显赫一时。
万岁登封元年(696)三月，任肃边道大总管，率副总管娄师德与吐蕃大将噶尔钦陵、赞婆战于素罗汗山，唐军大败，被免官。同年(696)五月，契丹首领李尽忠、孙万荣叛唐，武则天诏王孝杰白衣起为清边道总管，统兵18万讨击契丹。唐军至东峡石谷遇敌，他率精锐士卒为前锋，冲出谷外，布方阵对敌。这时后军总管苏宏晖畏敌而逃，王孝杰失去后援，孤军深入，为敌所败，王孝杰坠谷而死，全军覆灭。武则天闻之，追赠其为夏官尚书，封耿国公。