杨集去过幽州两次，一次是杨谅造反之时，奉命抓捕与杨谅眉来眼去的幽州总管窦抗，一次是报复契丹那次，虽然两次都没有和元家起冲突，可他知道元家在幽州势力极大。所以杨集尽管没有想到杨广对元家贼心不死，可元家“渔阳系”不仅是杨广迂回对付元家的目标，同时也是杨集掌控幽州的最大障碍，即便杨广没有提醒，他也会想办法清除元家和元派在军队中的势力。
只是杨广旗帜鲜明授予他对付元家之权，却让他明白了两件事：一是杨广让他去幽州辽东搞事，主要还是让他对付关陇贵族，而目标还是元家。
二是幽州刺史李子雄上奏说渔阳太守元杰协同治下官员私设关卡收税，但奉命巡视幽州的司隶丞刘休文却说幽州各郡县官场清明，反过来说李子雄和漠州大都护宇文述、辽东郡太守燕询勒索官员钱财、克扣军饷。这说明刘休文极可能是元派的喉舌，而李子雄和宇文述、燕询也卷进了对付关陇贵族的游戏之中，事情就变得有点复杂了。
宇文述和燕询还好一些。其中的宇文述早已自绝于关陇贵族集团，其长子宇文化及现在供职于廉政司，并且和萧瑀、杨恭仁一道，拿下万多名有案底的散官和闲官，导致宇文家成了人人喊打的过街老鼠，其处境不比杨集好多少；宇文家如今除了跟着皇族混以外，别无选择。
燕询所在的燕家只是关陇贵族一个中小家族，其父燕荣因为暴戾被元弘嗣告发被先帝赐死，所以不仅与元氏有杀父之仇，而且没有什么势力可以依靠，加上他娶了杨雄第三女，故而甘心情愿、踏踏实实的当起了皇族外戚。
相对于前两者，李子雄就复杂多了，只因他是赵郡李氏子弟，其族兄李子权更是山东士族的代表，他虽然忠于朝廷、忠于杨广，可他的出身让他在考虑问题的时候，先是家族、次之是山东士族、最后才是君王和帝国。
李子雄作为幽州刺史，要是在对待元氏的问题上，杂入太多家族、派别的功利之心，而不是认真配合，事情就麻烦和复杂了。而杨集要是不能及时解决元氏渔阳系，继而会影响到他向辽东进军的进度。不过好在杨广任命他为辽东行军大总管，授予他先斩后奏之权，光是这两项，就足以令李子雄老实几分。
杨广确认他明白了自己的心思，便将此事放在一旁，话题一转道：“针对元氏这一事，你要是一时半会找不到入手之处，不妨先去上谷郡遒县拜会卢氏家主卢赤松，此人乃是已故武阳郡太守卢思道之子。”
说到这里，杨广狡黠一笑，续道：“卢氏和元氏为了争夺辽西走廊商道主导权，明争暗斗多如牛毛。只要你拜会卢氏的时候客气一些、谦虚一些，卢氏想必很乐意当你的得力助手。”
杨集听得双眼一亮，欣喜若狂的直呼道：“这真是刚想瞌睡阿兄就送上了枕头，若是有卢氏相助，必将事半功倍。”
见到杨集兴奋至斯，杨广亦是十分高兴，他忽然想到一事，饶有兴致的问道：“金刚奴，听说你有几个立下军功的武婢？”
杨集闻言，心中顿时有些发虚了，他知道杨广指的是来自杨素所赠的十大武婢。虽然二大武婢的出身并不重要，但重要的却是杨广所说的“立下军功”，这表明杨广知道他喜欢带着女人去打仗，若是追究起来，那可是犯了兵家大忌的。
乍一发现杨广正用似笑非笑的目光看着自己，而不是像是追究的样子，杨集的胆气立马陡壮，以一种平静的口吻说道：“确实有那么几个，庶妃柳如眉、宜人张出尘便是武婢中的一员，她们精擅技击之术，曾为我刺探了不少军情。”
“柳妃、张宜人，我知道。我也没有责备你的意思。”杨广挥了挥手，笑着安抚道：“我也认为女兵在很多具体事务上，比男兵还要细心；在某些场合、某此战争，她们比男兵还要好用。”
杨集松了口气，好奇的问道：“既如此，那你忽然问这个做什么？”
杨广目光诡异的看着杨集，呵呵一笑道：“我没有别的意思，只是觉得她们既然为国立功，不得不赏。”
杨集心中大生不妙之感，连忙说道：“她们不在乎的。”
“她们是不在乎，可我在乎。我作为皇帝，不能赏罚不明。”杨广一本正经的说道：“可她们终究女的，又是你的人，我也不能让她们入宫当女官。这样好了，我给她们每人一个皇家诰命好了。”
杨集干笑一声道：“阿兄容禀，小弟我和她们是清白的，我们之间清白得不得了！你要是赐予皇家的封号，那成什么了？”
杨广嗤之以鼻，步步紧逼道：“要是你真的跟她们清清白白的，你会走哪儿都带到哪儿？我且问你，若是我让你把那几个武婢送人，你乐意不？你同意不？”
“那肯定不乐意、肯定不同意。”杨集答得十分果断，于他而言，已经习惯十大武婢的存在，柳如眉和张出尘是他的老婆了，自然不可能送人，但另外八个，他也不可能送人，一是她们知道了太多的秘密，二是、二是他貌似也舍不得。
“这不就对了。”杨广两眼一翻，不屑的冷笑道：“我是真的没看出来，你卫王何时变得这般迂腐了？这身边的女人嘛，既然喜欢了，那就应当纳为己有，免得日后后悔。出了问题自我这个当家主的来扛着。你究竟在怕什么？”
说着，杨广作出一副恍然大悟的模样道：“哦，我知道了。堂堂卫王阁下是怕媳妇，生恐媳妇打骂，所以不敢纳妾。但不是我说你，就你这点鼠胆，如何成就大事？”
皇族最严重的问题就是人丁单薄、家族不旺，杨坚五个儿子现在只有杨广、杨秀、杨谅三人，长子杨勇已死，他的子嗣也被革除皇族、悄悄转移走了。而秦王杨俊、杨秀和杨谅虽然都有儿子，但是也不多，杨广本人三个儿子，长子杨昭太胖、杨暕是个问题“儿童”、幼子杨杲刚出生不久。孙子倒是有，但他们实在是太小了，二十年内，都无法负担重任。
大隋皇族现在出任高官者，只有四大亲王和杨雄杨达兄弟，以及刚刚被调为宗正寺卿的蜀王杨秀、调为民部侍郎的杨恭仁。
如此人丁不旺、皇族高官稀少的局面，使大隋处于一种主弱臣强的格局，很不利于江山的稳固。杨广现在十分希望皇族子弟多娶一些小老婆、多生一些儿子。好使皇族在二十年之内，呈现出人丁兴旺、子弟众多的繁荣景象。
皇族只有人多了，他这个当皇帝的、当家主的，才能从中择优而仕，大隋江山也因皇族人才辈出得以永固。若是皇族继续像现在这般人丁不兴下去，即便以后稀少的子侄全都是庸才，他也只能使用，但此举却不利于江山传承。
他这个当皇帝的，日里万机、忙不胜忙，恨不得把一呼一吸都用在处理国事之上，根本就没空、没精力、没心思去宠幸后宫美女，所以他只能把繁衍人口的大业交给兄弟、子侄们。
而杨集这小子不生则己，一生就是三个儿子。既然他这么会生，那他就应该多生一些、多分担一些皇族的人口压力。
听到“鼠胆”二字、以及杨广给出的怕老婆的推论，杨集顿时不满、不爽了，当即大声道：“当真是天大的笑话，我杨集长这么大，除了伯母和我阿娘以外，还从来没有怕过谁，便是大伯也要怵我三分。就阿颖那柔顺的性子，早就被我治得妥妥帖帖、老老实实的。我跟你说，我让她往西、她绝不敢往东。”
“怕媳妇？哼哼，这怎么可能呢？我不是怕，我不过是不想纳妾罢了。”
杨广见杨集死活都不肯承认自己怕媳妇，他强忍着笑意，满意的点着头道：“这才算是我的好兄弟、这才是我最最欣赏的大隋军神，果然是有担当的男子汉大丈夫，不负我之所望。”
他嘿嘿一笑道：“好了，你回去吧。”
杨广为之愣，黑着脸问道：“就这么完事了？你耍我开心是吧？”