杨爽率领着残存的近五万人马，随同李渊、李彻所部一道撤回关内，回想起此番自己率军北伐的前后经过，非但一城一地未得，反而折损了将近三万人马，杨爽既羞且愧，回到并州城内，只匆匆和杨广等人打了个照面，便将军权委托给杨广，自己则回到住处，一病不起。
杨爽抱病给皇帝写了份请罪奏章，要求杨坚免去他河北道行军元帅之职，并推荐杨广代替他执掌北境大军。杨爽在这份奏章中，毫不隐讳地列举了杨广自出镇并州以来，采取的种种强军措施，其中特别指出，此次自己率军北伐，被困于关外，若不是杨广不拘于朝廷军制，就近向杨俊求援，及时求得救兵增援并州，自己只怕就要全军覆没的命运了。他认为，杨广年纪虽小，但以他之能，足以担当其河北道行军元帅的重任，率领大军北御突厥。
一个月后，杨坚给杨爽这道奏章的答复下达到了并州：准杨爽所请，免去其河北道行军元帅之职，其军权暂由杨广代掌，调杨爽回京，仍兼任雍州牧。
杨爽奉调离开并州后，河北道行台的军政大权便尽赋予杨广一人统掌，他也成为了杨俊、杨秀三位出镇外藩的皇子之中唯一一位独掌军政大权的皇子。开皇二年四月间，杨广刚刚年满十四岁。
暂且撂下杨爽返京不提，拐回来再说说李渊。
李渊统领三万援军抵达并州后不久，就因西线战事发生变化，他没费多大力气，便成功地率军从关外接应回了杨爽大军。虽然杨爽为此一病不起，但毕竟能于突厥重兵围困下解救得五万大军安然归来，仍算得上是一件喜事。于是，在李渊、李彻等人率军返回并州的当晚，杨广命安若溪带领着一帮仆妇、近卫包起了饺子，就在自己居住的小院内设宴为李渊、李彻等人接风洗尘。
因杨爽称病不出，随同他北伐的麾下将领如杜彦、周摇等人也自感无颜应邀赴宴，所以，前来赴宴的只有李渊和李彻并赵才等不多的几位将佐。
待酒过三巡，饺子也端了上来，李渊左顾右盼，见四下无人，才凑近杨广，低低的声音向他问道：“王爷，这安若溪怎么又回到了你的身边了呢？”
杨广这些日子满脑门的心思全都放在了如何能接应杨爽大军平安从关外归来这一件事上，根本未曾留意到李渊已发现安若溪守在自己身边，此时听李渊问起安若溪因何回到自己的身边，才猛然惊觉，忙含混其辞地敷衍他道：“原是我离京前，她奉命还了俗，这才又回到我身边来的。表兄，请再饮一杯。”
令杨广后来越想越感到不安的是，李渊也仅仅向他问了这么一句，便就此打住，不再继续追问下去了。
糟了，我方才应该声称安若溪是奉旨还俗，而不是奉命还俗。李渊是母后身边最亲近的人，难保他回长安后不会瞎搅舌头，泄露了安若溪就在并州自己身边的秘密。杨广话一说出口，就不禁后悔起来。
“表兄有所不知，我自到并州出镇以来，多亏了若溪在旁建言，才在当地招募得了一支三万人的军队，并一度收复了白道州。尤其是此次六叔大军被困于关外，若不是若溪建言我向东都的阿祗处求取援军，表兄也不会率军北上，如此顺利地解了关外之围......”杨广人虽聪明机智，毕竟年幼，城府不深，一经意识到自己说错了话，忙心虚地向李渊解释道。