不过与此同时，李渊又心存种种顾虑，有点犹疑不定。这一方面是出于他跟隋炀帝的关系，毕竟他俩是表兄弟，感情颇深。隋炀帝虽昏庸无能，但对自己这位表兄可谓不薄，封官加爵从不吝啬。即便在朝中大臣纷纷怀疑李渊之时，隋炀帝也仍然赋予李渊重权，派他镇守军事重地太原，而没采纳大臣的谏言削他的兵权，定罪杀他。在这一点上，李渊是非常感激这位表弟对自己的庇护和器重。现在要反他，从他手中夺取江山社稷，李渊从感情上有些难以放开手脚，内心深处有些挣扎。
当然更重要的原因是军事问题，尽管李渊苦心经营了这么多年，文有谋士，武有良将，实力不可谓雄厚。然而要保证反隋成功，并夺取天下，似乎还有欠火候，因而李渊还想积攒力量，以候最佳时机。正因为这样，李渊迟迟不向他人表露心迹，就算是在自己最知心的朋友面前，也不露一丝迹象。因此，当裴寂提及此事，李渊不免闪烁其辞，遮遮掩掩。
裴寂可称得上是李渊肚里的一条蛔虫，自然摸得透他的心思。他明白李渊心有自图霸业之志，只是出于感情和军力上的考虑，迟迟拿不定主意。沉默地呷了口茶，裴寂转换了话题，低声问李渊：
“唐公，请允许裴寂冒昧问一句，您以为当今皇上待你如何？”
“本公与皇上既是君臣，又有手足之情。这些年来，皇上对本公不薄，加官进爵，委以重任。本公对皇上也是尽心尽力，忠贞不贰。”
“唐公此心日月可鉴！”裴寂说完，又叹了口气，“可惜呀，皇上听信谗言，对唐公您心存芥蒂。尤其是自民间盛传那首《桃李章》后，皇上大忌李姓，越发不信任唐公了，以为您心存异志。皇上因李金才将军姓李，疑而杀之，灭其九族。唐公也姓李，且手握重兵，威名天下，皇上能不能忌惮您吗？请恕裴寂直言，唐公若不思变通，必步李金才之后尘哪。请唐公三思！”
裴寂这席话说到李渊的心坎里去了，他也清楚当今皇上残暴多疑，指不定哪天就会不念手足之情，君臣之义，将自己连根拔起，诛灭九族。这么一想，李渊的内心忽然间产生了微妙的变化，觉得那份亲情难以保全身家性命。
此时，裴寂两眼紧盯住李渊的眼睛，似乎从对方飘忽的眼神中看到了什么。于是，他心中一喜，继续进言道：
“唐公自以为皇上会念及兄弟之情谊，然依裴寂看，这只是唐公一厢情愿。皇上是何等人物，料想唐公比裴寂更清楚，必要之时皇上决不会心慈手软，一定会痛下杀手。如此看来，唐公已是身处险境，命悬一线了。”
李渊的面色渐渐变得凝重起来，深感到自己处于危险之中。可他并不言语，依旧手执玉杯，慢慢地饮着茶。其实此时，他压根儿就没心情品茗，只是借此掩饰自己心中的忧虑与不安。不过，他还是未能逃过裴寂那敏锐的目光。
