时光飞转，很快便进入大业三年。
年初，杨广任命张衡为御史大夫，罢相事，算是免了相职，使其专掌御史台。说不上是升还🔡🂌🍙是降，张衡本来在宰相里面存在感就低，而这两年，杨广身边的核心事务也渐渐转到虞世基、裴蕴那里。对张衡来说，他本就为人耿直，性格直率，担任御史大夫似乎更合适。
不过黄明远却是有些担心，张衡这两年与之前相比变化不大，但天子的性格却发生了极大的改变。张衡还以事晋王、事太子的方🌭🂒🎒式对待天子，能🆑🎴不得到杨广的疏远。
至少在黄明远看来，张衡罢相，是杨广🟂🚑要抛弃那些不喜欢阿谀的直臣的一个信号。
同月，纳言杨达迁为右卫大将军，罢相事。
杨达这位不管事的宰相总算是卸任了。他能成为宰相，更🂂多的是因为🖲🖤🔥他宗室身份，但杨广却并不看重宗🗦🝶室。
二月，杨广命令内史令杨⚋🏷约到京师祭祀祖庙。杨约走到老家华阴，想到兄🏴🞏长新丧，⛳因此便决定绕道前往拜哭。此事为御史知道之后，上书弹劾，杨约因此被坐罪免官。
整个大业三年初，杨广一口气罢了三位宰相，初🐙⛺🟡登基的八相此时只剩下苏威、牛弘、裴矩、黄明远四人。杨广也不增补宰相的人选，反而让增补裴蕴为给事♚黄门侍郎，虞世基为内史侍郎，参与朝政。
每每有朝中政事，皆是杨广与裴蕴、虞世基二人相商，然后交给朝臣办理，反而把苏威、牛弘几个💮🕏宰🜧🄠⚨相排除📦🝈在外。
苏威、牛弘、裴矩三人都不是那种性格强势的大臣，也不敢与杨广争🖲🖤🔥权，而黄明远更是成了第二个杨达，也不参与诸多事务。至于裴蕴、虞世基，唯诺取容，不敢忤意，因此大权皆操于杨广一人之手。
杨广🂸大权独揽，驾驶着大隋这个庞然大物在杨广独有的轨道上超速前进，不能停止。此时，已♮🜤经没有人能够让这辆超速的列车降降温了。
三月，辛亥（初二），杨广返回长安。
月中的时候，传来🀱🀧⚲🀱🀧⚲消息，慜太子杨勇六子皆死。
黄明远知道这个消🀱🀧⚲息之后一惊，🀚不是杨勇的儿子才被流放岭南了吗？怎么这么快便死了。
杨勇去世之后，留下八个儿子。其中杨裕因🈖♸🍈为之前🜉🀘☭黄明远刺杀案早死，杨俨因为仁寿宫变而死，还有六人存世。