由于修撰《括地志》需🌝要大量的人力、物力，导致了李泰每月的供给远远超过了太子李承乾，谏议大夫褚遂良进谏道：
“自古立嫡以长不以贤，立子以贵不以长。太子为国家的储君，所以可以用物不计多寡，地位仅次于圣上，其他皇子均不得攀比，这是为了杜绝其他皇子有觊觎太子之位的祸源。自古国家就有嫡庶之分，庶子虽受皇帝宠爱，用物不得超☱🃋🖌过嫡子。如果应该亲近的人反被疏远，应该尊贵的人反被轻视，就会🚺使私恩危害公义，迷惑人心，搅乱国家。现在魏王的供给物品超过了东宫，🎵🕚朝臣们都认为不妥。从前西汉窦太后喜爱梁庄王，封赐给他四十余城。梁庄王修筑苑囿三百里，修建宫室耗费资财巨万，得到汉景帝赏赐的天子旌旗，出门的排场效仿天子，随从动辄千乘万骑的帝王待遇，一不得志，就发病而死。现在圣上为魏王长久之计考虑，应当警戒他注意节俭，还应选择德能双馨的师傅教育他谦虚俭朴，勉励他学好经典，使他成为有德之人，这才是保全魏王长久之策。”
李世民听罢褚遂良的谏言后，默然长久🀺🁹，感叹道：“看来教育子女，朕远🙚🕙不如文德皇后。”
自魏王府设置文学馆以来，李泰以王珪为🅹谋主，趁机招揽了驸马都🞸😼尉柴令武（柴绍之子）、房遗爱（房玄龄之子）等人🆘🏹充当心腹，以韦挺、杜楚客（杜如晦之弟）等人为魏王府事，帮助李泰贿赂馈赠朝中重臣，攀附结党。
虽然魏王府已是人才济济👃🆊🍺，但是王珪还是不甚🔮满意，他觉得🁉李泰最需要招揽像袁天纲这样当世奇才。于是，王珪对李泰引荐道：
“魏王殿下，袁天纲乃当代诸葛孔明，当年玄武门之变，圣上除了有房玄龄与杜如晦两位谋士之外，还得到了袁天纲的鼎力相助，才能顺利地政变成功而登上皇位。殿下如果🝳想顺利得到太子之位，要延揽像袁天纲这样的人才为我所用。”
李泰点头🏖🚇称是道：“先生所言极是！如果袁天纲能为我所用，太子之位可以唾手可得！”
于是，李泰请王珪带着重金去延揽袁天纲。
王珪来到袁府，见到袁天纲说明来意：“袁贤🔮弟，上次终南山我与你相逢，我曾🕢😱有请你辅佐魏王的提议。这次我专门受魏王重托，想聘请你为魏王府事，与我一起辅佐魏王。🝳”
袁天纲直接回绝道：“上次终南山与您相见，我曾劝诫您记住圣上与隐太子争夺皇位的🐫前车之鉴。现在魏王与太子为太子之位相争，将又是重蹈兄弟相🔰🄎残的覆辙。🞲😇请您三思啊！”
王珪看到袁天纲态度⛮🝰坚决，只好⛿☤🁚灰溜溜地回🏌😧去复命。
高淑行看到这一幕，担忧地问🞇💅🏙道：“先生，您这次拒绝魏王的邀请，只怕魏王一党将会对您不利。”
“小妹，现在朝堂之上，群臣们都在站队，多数为魏王一党，也有不少朝臣站在太子一边。他们期望着有朝一日自己下注成☈♅功而求收获巨大的政治利🅚益，这种事为我所不耻。”袁天纲侃侃而谈。
“此话怎讲？”高淑行问道。
“当年圣上与隐太子相争，玄武门之变后，隐太子完⛬🝞败，隐太子、齐王及他们家的男丁几乎全部被杀，仅有李承文幸免于难。为此，我一生都对李婉顺感到愧疚，今日这种事将会再次出现，我已决定：宁可做一长安街头算命的穷道士，也不掺和到这种政治旋涡之中。”