唐高祖

大业九年（613年）春，调任卫尉少卿，掌管宫廷禁卫事，开始由文官转任武职。 [58] 炀帝征伐高句丽时，李渊在怀远镇（今辽宁辽中附近）督运粮草。同年农历六月，杨玄感利用民愤举兵反隋，李渊奉炀帝之命镇守弘化郡（今甘肃庆阳），兼知关右诸军事。在此期间，李渊广交天下豪杰，遭到炀帝的猜疑。恰好有诏书命李渊去炀帝巡行所到之地，李渊因病没有去。当时李渊的外甥女王氏在后宫，炀帝问王氏：“你的舅舅怎么迟迟不来？”王氏回答说李渊病了，炀帝又问：“病的要死了吗？”李渊知道以后，日益恐惧，因此无节制地饮酒、收受贿络自污以求自保。大业十一年（615年），李渊调任山西河东慰抚大使，到达龙门时，遇上了龙门人毋端儿聚众起义，李渊领兵出击，连射七十发，都射中敌人，起义军因而败逃。李渊筑尸成京观，从尸体中找回了所射之矢。又击败绛州叛军柴保昌，降其众数万人。次年（616年），因多次进献鹰犬给炀帝，得以升为右骁卫将军 [83] 。 [84] 突厥侵犯边塞，炀帝便让他和马邑郡守王仁恭一同北击突厥。但他们的兵马很少。李渊便选出擅长骑射的两千骑兵，吃住骑射仿效突厥人，给突厥看他们闲暇时的射猎驰骋。李渊有另外挑选善于射箭的士兵作为埋伏。等和突厥兵遭遇时李渊便下令埋伏攻击，结果打败了突厥。 [8]

太原起兵

隋炀帝大业十三年（617年），李渊正式任太原留守、晋阳宫监，成为这一地区最高军政长官。 [9-10]

李渊的次子李世民（作为帝王时期的立像）

李渊的次子李世民（作为帝王时期的立像） [54]

这时农民起义的烽火已经燃遍全国，尤其是大河南北和江淮地区的农民军，正以摧枯拉朽之势，猛烈地冲击着隋朝的统治基础。与此同时，隋朝统治集团内部的矛盾也日益加剧。隋炀帝猜忌大臣，擅杀文武将臣。早在李渊任山西、河东抚慰使时，副使夏侯端就劝他早做打算。李渊“深然其言”。等到任太原后，他对次子李世民说：“唐本就是我的封国，太原就是唐所在之地。如今我来到此处，是为天赐良机，赐予却不取，灾祸将要来临。但历山飞不破，突厥不和，没有办法经邦济时。”这表明了他起兵的意图和策略。所以李渊到任以后，首先带兵在雀鼠谷击溃了活动于太原以南的历山飞别将甄翟儿部，稳定了山西的局势 [10] 。但在对突厥入侵的防御战中，所派的副留守高君雅和马邑太守王仁恭作战遭到失败。炀帝下令拘捕李渊而斩杀王仁恭。李渊让李世民做好随时起兵反抗的准备。过了不久，炀帝又遣使驰驿赦免李渊与王仁恭。李渊认为时机已到，于是“雄断英谟，从此遂定”。 [9] 经历这一事故，李渊加速了举兵反隋的活动。 [58]

李渊为人“素怀济世之略，有经纶天下之心”。见人一面，不论贵贱，即能十数年不忘。当时的山川冲要，他也做到了“一览便忆”。此外，李渊也是一个胸有成竹，老谋深算的政治家，在镇压农民起义的过程中，他招降纳叛，不断扩充自己的实力；并授意长子李建成在河东“潜结英俊”。李世民也在晋阳暗中结交豪杰，招纳逃亡之人，网罗各种人才。