先生歸國後，適清政府設立商部(後改農工商部)，以載振為尚書，廣攬人材，以伍廷芳陳璧分任侍郎，徐世昌與先生分任左右丞。雖先生對於外交學研究已有數年，雅不願舍此就彼，然自是先生乃得大用。商部設有通藝司，專管鐵路、輪船、電信，以及工業、礦務之事，先生致力於交通事業乃自此始。曾請準頒布鐵路簡明章程，為後來鐵路法規的張本。又令各鐵路督辦大臣按期填送表譜圖冊，自後始有初步的鐵路統計。又如厘定全國鐵路軌製，明定以四英尺八英寸半為標準軌距，以及頒布路務議員章程等，皆由先生主其事。此類初期交通建設擘劃的功績，乃為先生文名所掩，恐世之知者或不多。先生在部並創立北平祖家街之工業學校，又為商務印書館與上海科學儀器館立案成立。先生四十一歲升任商部侍郎，其明年署理農工商部尚書。正在先生年富力強勵精圖治之時，其太夫人在京逝世。按照清製，凡正缺官員有父母喪即須開缺，先生於是開缺居喪，而農工商部自後即一蹶不振。
其時郵傳部已成立，任尚書者為先生在商部時之同官陳璧。所有路電郵航之事，已由商部移歸郵傳部主辦。上海交通大學之前身，即高等實業學堂，亦由商部移歸郵傳部管轄。於是陳氏奏請以先生任此校監督。先生到校以後，將普通工程科改為鐵路工程科，後改為土木科，創設電機工程科，商船科，與鐵路管理科，自是學校教育始以交通事業為對象，實行建教合作。先生添聘英美教授，提高課程水準，增加試驗設備，建築圖書館，每年派遣畢業生赴國外深造及實習。先生在校則提倡國學，自編大學國文講義，星期日自己授課，每年舉行國文大賽，並提倡體育、拳術、音樂、演講，倡導軍國民教育，使學生實行實彈操練，大開教育界風氣之先。先生設教以勤儉敬信為訓，以求實學務實業為鵠的，以出處進退辭受取與為人生大節，儉以養廉為立品之始基。當先生在商部時，有某巨商請辦鐵路，又有某巨商請辦銀行，曾向先生致送巨金，皆為先生所峻拒斥責。故先生以前清一品大員，而寒素逾常人，其淡於榮利與安貧樂道的風格，即此一點已給予後進一個極深刻的印象。
先生少受業於王紫翔先生之門。初攻性理文學，常書毋不敬、毋自欺六字於座右。十八歲開始作讀孟劄記，理學亦日進。二十歲始從事經學，受業南菁書院先後院長黃元同王先謙兩先生之門。尤喜治易經，作周易大義，顏其齋曰茹經堂，著述之盛自此始。自遊京師，獲交當世賢俊，始稍周旋於世故。二十五歲始授徒。館於顧氏家。自通籍從政後，更注意經世之學，為文亦以奏折或公牘一類為較多。戊戌年清室醞釀政變，先生“謹殫竭血誠以維國脈”一折為人傳誦，有聲於時。自長滬校後，編成曾子大義二卷，國文陰陽剛柔大義八卷，古人論文大義二卷，論語大義二十卷，孟子大義七卷，大學大義一卷，中庸大義一卷，為學生習文治學之範本。離校以後之十餘年間，著有十三經提綱十三卷，周子大義、程子大義、朱子大義、張子大義各若幹卷，洪範大義三卷，性理學大義十四卷，政治學大義四卷，國文經緯貫通大義八卷，尚書大義二卷，詩經大義九卷，禮記大義五卷，陽明學發微七卷，紫陽學發微十二卷，周易消息大義五卷，此皆先生七十以前著述之大者。自後以完全失明，猶以口授著述無一日或息。先生生於叔季，雖抱匡朝政抒國憂之盛德宏願，而不獲多見於功業，退而講學，以正人心維世道為己任，聞風感發，立德立言，可謂不朽矣。