於楊堅而言，既受高穎等群臣一力勸阻，暫時打消了廢黜長子楊勇，改立次子楊廣為太子的念頭，內心也不願楊廣在長安多做逗留，沒費多少周折即答應了楊廣重返廣陵的請求。
於楊廣而言，更是經過了昨日與王妃蕭厄的一番傾心交談，領悟到了自己目下所處的危險境地，正好借張衡派人來長安報知李靖等人失聯一事的機會，向楊堅提出辭行，好及早離開長安這個是非之地，重返廣陵，一心一意地撫綏江南。
父子兩人雖心照不宣，一拍即合，但同時楊堅不得不考慮到皇后獨孤伽羅的感受，在答應了楊廣提出的所有請求後，提醒他和楊秀一道前往正陽宮向母親辭行，說服獨孤伽羅答應放楊廣當日就離京返回廣陵。
由於事發突然，楊廣並不十分清楚蕭厄是否已入宮面見長姐楊麗華，說服她暫且不要將太子與元氏之死有關的消息稟報給母后，與楊秀兄弟二人並肩出了臨德殿，本想先到楊麗華居住的宮中繞個彎，卻被楊秀親熱地拉住，不肯放他離開，只得和他一道向正陽宮走去。
“二哥，多年不見，今日一見，你可別怪小弟多嘴了。”兄弟二人走至正陽宮門外，楊秀忽然收斂起笑容，一本正經地沖楊廣說道，“此次二哥奉詔回京的因由小弟也有所耳聞，誠心誠意奉勸二哥一句，切莫妄動與大哥爭奪東宮儲位的心思，否則，三哥、五弟我們哥仨兒都決不答應。”說罷，也不待楊廣答言，率先邁大步走進了正陽宮。
原來十年未見，楊秀並沒有絲毫的改變，對待自己仍充滿了敵意。楊廣無意向楊秀多做解釋，苦笑着搖了搖頭，跟在他身後也走進了正陽宮的大門。
果如楊堅所料，皇后獨孤伽羅聽說楊廣今日便欲離京返回廣陵，當場便撂下了臉，挽留他道：“江南能有什麼大事，非得你親自回去處置不成？大老遠地回來一趟，怎麼著也得陪娘在長安住上個一兩個月再走吧，不行，你今日走不得。”
楊秀在旁聽了這話，禁不住泛酸道：“二哥，你就聽母后一句勸吧，要是今晚的酒宴上少了二哥一人，我擔心母后一樽酒都喝不下去的。”
楊廣察言觀色，已瞧出母后不像是已得知是大哥楊勇氣死元氏的實情，遂放下了心來，耐心勸她道：“兒臣此次奉詔還朝，實為送厄兒回京陪伴母后，加上還有昭兒、簡兒兩個娃兒，母后還覺得身邊不夠熱鬧嗎？江南實是有十分緊要的事急等兒臣回去主持，片刻耽擱不得，懇請母后就允準兒臣今日動身啟程返回廣陵去吧。”
“你倒對娘說說，江南倒底發生了什麼事？”或許是受到楊廣的提醒，想到兒子走後，還有自己最為鍾愛的兒媳蕭厄和兩名皇孫留在自己身邊，獨孤伽羅的語氣鬆動了些，但仍不肯吐口放楊廣當日離開長安，繃著臉問他道。
“母后還記得那個李靖嗎？”楊廣急中生智，忽然想起了自己曾向母后稟報過李靖助自己從楊素手中購得宅院，阻止楊堅到宮外尋歡的那件事，遂向獨孤伽羅解釋道，“兒臣奉詔還朝前，曾命李靖外出辦差，豈料今日得報，李靖竟不知所蹤，再也沒有絲毫音訊了。母后原就知道，數年前兒臣曾因突厥沙缽略可汗在汾河驛遇刺一事錯責過李靖的父親——時任汾州刺史的李詮一回，這次再不能視李靖的生死於不顧了。”
“李靖？哦，娘想起來了，可是在朝廷查破劉魴等三家叛亂一案上曾立下大功的那個娃兒？這娃兒倒是很招人疼，怎麼，是他有了危險？”
“不止是李靖生死未知這一件事，整件事事關查破南陳殘部以及撫綏江南的大計，非得兒臣重返廣陵主持不可啊！”楊廣見母親心思被自己說得活絡起來，遂趁勢加重了語氣懇求她道。
“這麼說，你連今晚的酒宴也無法陪着娘了？”獨孤伽羅依依不捨地望着楊廣，輕聲問了一句。
“多謝母后成全。兒臣這就向母后告辭了。”楊廣生怕母親變卦，急忙躬身向獨孤伽羅行了一禮，轉身就往外走。
“阿縱，你且回來，娘還有句話要同你說。”
楊廣無奈，只得返身走了回來。
“自今往後，包括阿秀在內。”獨孤伽羅瞥了冒着一臉酸氣的四兒子楊秀一眼，緩緩衝兩個兒子說道，“你們每年須回朝覲見一次，陪娘在長安多住上些時日，如能答應這一條，娘就放你們走。”
這話對明日就要統軍北伐的楊秀毫無意義，實則是單獨說給楊廣聽的。
楊廣此時只要母親肯放自己及早離開長安，無論她提出什麼條件都會一口答應下來的，當即沖獨孤伽羅深施一禮，道聲“母后珍重”，再次轉身走了出去。
楊廣心中惦記着要回府與蕭厄見上一面，等得她與楊麗華見面的確切結果後方能放心地離開長安、返回廣陵，故而出了正陽宮正殿，只顧低頭向前走，渾然沒有發現在宮門外站着一位年約十四五歲的小宮女在等着自己，險些和她擦肩而過。
“晉王殿下？”小宮女操着一口清脆的吳儂軟語，叫住了楊廣。
“啊，你有什麼事？”楊廣轉頭見是一名素不相識的小宮女呼喚自己，脫口問道。
“我家宣華夫人想請殿下到錦瑟宮相見。”
“這，恐怕有些不妥吧？”楊廣的腦海之中情不自禁地浮現出一個美麗的倩影，嘴裡卻遲疑着回絕道。
“我家夫人只是想托殿下帶些金銀細軟回江南，接濟樂昌公主夫妻，並沒有別的意思，殿下無需多慮。”小宮女像是看穿了楊廣深埋於心底的那點兒心思，捂着嘴吃吃地笑着向他解釋道。
“那，好吧。”楊廣不知為什麼，自己都能感覺到臉頰發燙，一顆心呯呯直跳，明知仍有諸多不妥之處，兩條腿卻身不由已地跟在小宮女身後，隨着她朝錦瑟宮的方向走去。