唐高祖：嫡4子

李纲说：“得亏宇文歆才让陛下没有失去爱子，我认为他有功。”高祖询问原因，李纲回答说：“罪过出在窦诞没有规劝齐王，致使士卒百姓怨恨愤怒。再说齐王年轻，肆无忌惮地干骄横放纵的事，放纵身边的人，掠夺百姓的财物。窦诞不曾劝谏制止，却放任包庇他，所以造成了祸根，这是窦诞的罪责。宇文歆论感情要疏远些，接近他的时间又短，齐王的过失，他已全部禀奏过了。何况是父子间的事情，别人不好说话，但宇文歆却说了，难道还不忠诚？现在要追究他的罪责，不会使他心服，我认为很不恰当。”第二天，高祖请李纲进宫，让他坐到自己身边，说道：“现在我有了您，刑罚就不会失去分寸。元吉自己作孽，跟别人结下了怨恨。宇文歆曾上表禀奏，窦诞还怎能制止，都不是他们的罪错。”不久任命李元吉为侍中、襄州道行台尚书令、稷州刺史。 [4]

从平四方

武德四年（621年），李元吉随秦王李世民围王世充于东都洛阳，窦建德率军来援。李世民率以精骑到虎牢迎战，留李元吉与屈突通继续围困洛阳。史载有两次战斗，一次王世充出兵拒战，李元吉设伏击之，斩首八百级，生擒其大将乐仁昉；另一次是四月十五日（621年5月11日），唐军败绩，行军总管卢君谔战死。 [5]

东都平定后，李世民和李元吉都因功受赏，十月初五（621年10月25日），李元吉加司空，加赐衮冕之服、前后部鼓吹乐二部、班剑二十人、黄金二千斤。 [6] 十二月十五日（622年2月1日），窦建德部将刘黑闼反唐并夺取窦建德故地，李世民和李元吉前去平定。 [7] 李世民于次年春击败刘黑闼，迫使其逃往东突厥。兄弟俩攻打鲁王徐圆朗，李世民回长安，留李元吉对徐圆朗作战。但刘黑闼从突厥返回复夺窦建德故地，李元吉不能制止。

武德五年（622年）十月，李元吉被任命为左领军将军、并州大总管，奉诏再次征讨刘黑闼。十一月，在魏州击败了刘十善。 [8] 十二月，率军随太子李建成进兵昌乐，剿灭了刘黑闼。 [9]

兄弟阋墙

武德六年（623年），授隰州总管。李元吉后来跟李建成联合算计李世民，分头招募勇猛死士，收容逃亡罪犯。还勾结后宫妃嫔，挨个儿奉承，又重金贿赂中书令封伦作为帮凶。从此，李渊疏远李世民，偏爱李元吉。李世民曾经陪同唐高祖到齐王府，李元吉让自己的护军宇文宝潜伏在卧室，准备暗杀李世民。李建成担心不能成功就制止了，李元吉气愤地说：“只是为大哥着想而已，对我有什么相干！” [9]

武德七年闰七月廿一日（624年9月9日），李元吉随李世民屯驻于豳州，防御突厥。 [10] 同年，因突厥屡屡入侵，李渊想烧毁长安，迁都樊城，李建成、李元吉、裴寂全都同意。秦王李世民坚决反对，迁都未能实行。后来，李世民到东宫赴宴，回来之后“吐血数升”，唐高祖来看望他，并对李建成说：“秦王不能喝酒，以后不要再请他喝酒了。” [11] 高祖想派李世民进入洛阳（如梁孝王故事），避免兄弟进一步冲突。李建成和李元吉交换意见后，认为：这会使李世民在洛阳建立自己的势力，提出反对，李渊没有这么做。