杨勇信以为真，竟奏杨坚，最终杨李浑如愿以偿的承袭申国公之爵。但是李浑失信于人，仅仅只是给了宇文述两年，之后便不认账了，宇文述喝醉以后，恼火的向朋友于象贤说“我竟为李金才所卖，死且不忘！”
宇文、李二人都是于象贤的好朋友，于象贤当个了和事老，对李浑说宇文述足智多谋、不好惹，最好兑现承诺，不料李浑不但没有听劝，反而说自己是陇西李氏子弟、父亲故旧满天下，自己更不好惹，先与宇文述断绝了关系不说，还放言说宇文述要是有本事，尽管来战、尽管来惹。
宇文述虽然又气又恨，可他当时只是杨勇麾下小将，还真惹不起李家。直到杨广当上太子，舅郎二人才因为李宇文氏的劝说，慢慢走动，但关系也就那样。
武举舞弊桉爆发之后，宇文述惨遭重创；便主动向陇西李氏示好，而李浑便是中间联络人。他为了让陇西李氏绑上自己的战车，便在军改之时，应李氏之请，将外甥李师闰、李师中，以及李浑之侄李琪、李基、李公挺、李善衡等十多个陇西李氏子弟安排进了军队之中。但是陇西李氏弃仁义而用诈谲，关键时刻居然站在了关陇贵族那边，而李安期谋反举动，更是陇西李氏和张瑾在背后推波助澜。
这个时候，李浑又一次宣布断绝关系，跟着关陇贵族一起、对宇文述喊打喊杀。
面对这种白眼狼一般的亲戚，宇文述能不恨吗？
此时面对杨集，又希望得到杨集帮助，所以宇文述虽然没有提到自己为李浑争到申国公爵位一事，却把军改所发生的事一五一十的说了。
听完宇文述的痛斥，杨集眼中闪过一丝莫名的神采。两人谈到现在，杨集已经知道宇文述此来的主要目的是希望自己在“撤并军府”这件事上帮他一把。
这是因为大隋府兵将领多数出自关陇贵族，而重新步入朝堂的宇文述孤掌难鸣，根本玩不过实力雄厚的关陇贵族；他知道自己和关陇贵族的矛盾同样不可调和，所以希望双方结成一个对付关陇贵族的同盟，让自己在军府的问题上全力支持他、配合他；如果自己与他联手对付关陇贵族，那自然是再好不过了。
在对付关陇贵族的问题上，双方利益相同，合作是合则两利的好事，加上又于国有利，所以杨集自然没有反对的理由，回去以后不但适当的推波助澜，而且也会给予宇文述一定支持；但是撤并军府之事毕竟以宇文述为主，无论是功还是过，结果都是宇文述，所以要想让他旗帜鲜明的赤膊上阵，那肯定是万万不行的。
不过宇文述与陇西李氏的矛盾，却是让杨集既意外又惊喜。他和陇西李氏也是有矛盾的，矛盾主要是发生在吐谷浑战役之时。李氏为了独霸丝绸之路，当起了慕容伏允的内应，把隋军部署情况详细的说了出去，他们的想法很简单，只要杨集死了、败了，杨集的势力就会澹出凉州，他们以后就能畅通无阻的把禁物卖给西域各国，赚取巨额钱财。至于大隋能否歼灭吐谷浑、死多少士兵，尽皆无所谓。
这笔帐，杨集一直记在心上。
他不是不想清算，一是时间不允许，当他打完吐谷浑，杨广立刻召他回朝，让他率军伴驾北巡，北巡被高元搅合以后，又被杨广安排来打高句丽。
二是杨集这次的野心极大，他要拿下的是整个陇西李氏，而不仅仅只是一些替罪羔羊；若不能完完整整的用一个大家族的性命来杀鸡儆猴，还会有世家门阀为了一己之私，像独孤家和李氏、元氏这般出卖大隋王朝、出卖民族和百姓；而世家门阀也都以为他好惹、好欺负，给他接二连三的制造麻烦。
但是他手上的罪证还不能让这个传承千年、枝繁叶茂大家族灰飞烟灭，加上时间又不允许，故而没有急匆匆的打草惊蛇。不过杨集虽然不在凉州，可是他先在伏俟城得到了大量通敌罪证和人证，接着又让州牧府的几大要员默默搜罗李氏罪证；而临桃通守宋正本管理的两千多名天门子弟，更是以各种身份渗入李氏大本营陇西郡和天水郡，并以钱财和各法办法对李氏子弟搞钓鱼执法。
而宇文述和李氏有几年时间之久的合作，他手上定然有李氏很多见不得人的罪证；既然他也对陇西李氏恨之入骨、还想借助自己的力量来完成军府撤并之使命，那么两方合作一把也是无妨。
念及于此，杨集也不再遮遮掩掩了，他注视着宇文述，沉声说道：“我大隋各地军府所存在的问题，与当初的京兵毫无二致。比起天子脚下的京兵各营，很多军府更过分，许多府兵将领甚至把府兵当作成了自己的私人军队，平时多行不法之事。这也是圣人誓要清查和撤并之因。”
“军府所存在的问题若是不能及时切除干净，迟早变成天下不稳之因。所以，在这件事上，我的态度与圣人一样。而且我也猜到大将军的来意了。”
说着，又向面露期待之色的宇文述，重重的说道：“只要大将军秉公执法、公平公正，我会全力支持大将军巡察和撤并军府。”
“多谢大王支持！”杨集如今是大隋军方第一人，而且还是尚书令，在军中、民间都有非同寻常的威望，他的承诺让宇文述吃了一记定心丸，他站起身来，向杨集一礼及地，郑重的说道：“末将已经吃了一次惨痛教训，同样的错误绝不再犯。而且以末将这把年纪来说，甚至连犯错的资格都没有了。”
宇文述觉得自己此话服用力不够，又很坦诚的补充道：“末将的心思与所有人都一样，都希望自己能够为子孙后代搏出比较好的资产。然而末将所剩时日已然不多，故而不管是为了朝廷也好、还是为了自己子孙后代也罢，都要全力以赴办好此事。”
“大将军能这么想，那是再好不过了。”杨集点了点头，说道：“大将军且先回去巡察，做好撤并的前期准备，等我打完此战，便入朝配合。”
说着，又向宇文述说道：“这里实非谈细节之处，一切，等回去了再慢慢详谈。而且除了军府撤并以外，我还有一件事，需要与大将军一道完成；此事涉及的势力，与我俩都有仇恨，光是这一点，我们就有合作的基础。”
在对付陇西李氏的问题上，不是他一个人能够完成的。除了宇文述这个盟友以外，他还要把杨广和杨秀、杨昭、杨暕、杨智积、杨纶、杨静、杨雄、杨达等人一起拉下水，毕竟大家都能从中受益，不能什么事都让他杨集一个人来扛。一旦皇族子弟全部下水，那么所有人都是商殃，即便以失败告终，最后也是不了了之，而不是单独车裂某一个人。要是有人不忿而造反，大不了就像杨坚那样，兄弟子侄和女婿外甥一起上。
更何况当前内外局势之好，远超立国前后无数倍，天下民心更是尽在杨广之手，几大粮仓又是满满的；占着大义的杨广带着杨家子弟再打一次天下，那都是轻而易举之事；区区逆大势而为的叛乱，又算得了什么？
宇文述也明白这里不是详谈之地，他也不是何事、敌人又是哪个势力，径自向杨集抱拳一礼：“末将遵命！”
两人又谈了一会儿，宇文述便兴致勃勃的告辞离开了。