杜淹曾舉薦刑部員外郎郅懷道，并道：“懷道在隋朝擔任吏部主事時便有清慎之名。當時煬帝下江都，百官都隨聲附和，唯獨懷道反對。”唐太宗問道：“那你當時的意見呢？”杜淹答道：“我同意去。”太宗道：“對待君主應直言正諫，雖有冒犯也在所不顧。你既然認為郅懷道的意見正確，為什么反而不勸諫呢？”杜淹道：“我官職卑微，而且就算進諫皇帝也不會采納，白白送 于事無補。”太宗道：“如果認為君主無道，為何還是要在他的朝廷做官？既然做官，又怎能不匡正他的過失？”

　　太宗又笑問杜淹：“你在隋朝的時候，可以因為人微言輕不去進諫。那你后來在王世充的朝廷做官，為什么仍不勸諫？”杜淹道：“我勸諫過，他不肯采納。”太宗道：“王世充如果修德從善，應當不會滅亡；他既然無道拒諫，你又怎能免禍？”杜淹無言以對。

　　太宗再問：“你現在是宰相，還能極力勸諫嗎？”杜淹道：“臣一定不會隱瞞自己的觀點，必極力勸諫。春秋時期，百里奚在虞國為官，虞國滅亡，后在秦國為官，卻輔佐秦國稱霸天下。臣一直以百里奚自比。”太宗大笑。

早年經歷

　　杜淹年輕時聰慧明辨，學識廣博，頗有美譽，與同鄉韋福嗣是莫逆之交。他對韋福嗣道：“皇帝喜歡任用隱士，蘇威便是在隱居是被征辟為美職。”因此一同隱居在太白山，其實是在沽名釣譽。隋文帝聽聞，極為憎惡，將二人流放江南。后來，杜淹返回鄉里，得到雍州司馬高孝基的舉薦，授為承奉郎，累遷至御史中丞。

歸附唐朝

　　武德二年（619年），杜淹成為王世充的太尉府官屬。四月，王世充建立鄭國，任命杜淹為吏部尚書，對他非常信任。當時，杜淹因與侄子杜如晦不睦，便在王世充面前進讒，致使杜如晦的兄長杜某（名不詳）被 。杜如晦的弟弟杜楚客在鄭國為官，也遭到囚禁。

　　武德四年（621年），秦王李世民平定王世充，杜淹作為鄭國高官，被定為 罪。杜如晦以德報怨，向李世民求情，杜淹得以免 。后來，杜淹因久不升職，欲投靠太子李建成，被封德彝告知房玄齡。房玄齡知道杜淹擅長陰謀，害怕李建成得到他會對李世民不利，便舉薦杜淹為天策府兵曹參軍、文學館學士。

　　武德七年（624年），慶州刺史楊文干起兵叛亂，李建成與李世民的矛盾加劇。唐高祖認為杜淹未能勸導李世民，致使其兄弟失和，將他和東宮屬官王珪、韋挺一同流放巂州（今四川西昌）。李世民知道杜淹無罪，只是受到牽累而已，贈他黃金三百兩。

擔任宰相

　　武德九年（626年），李世民繼位，是為唐太宗。杜淹被召回朝中，授為御史大夫，封安吉郡公，食實封四百戶。唐太宗知道杜淹熟知歷代典制，讓他主持東宮儀式簿領的裁訂工作。

　　貞觀元年（627年），杜淹被任命為吏部尚書，參議朝政，成為宰相。他前后舉薦四十余人，后都成為知名官員。當時，杜淹身兼二職，卻無清廉之譽，又和勛臣長孫無忌不和，因此受到輿論的非議。

病重去世

　　貞觀二年（628年），杜淹患病，唐太宗親自前去探望，并賞賜絹帛三百匹。同年十月，杜淹病逝，追贈尚書右仆射，謚號為襄。