盛宣懷等認為“師範、小學尤為學堂一事務中之先務”，除了聘請部分外國教師外，主要靠自己培養教師。一八九七年二月他張榜招賢，選拔師資；同時舉行了第一次公開的招生考試。招生廣告上用“不取修膳”、“谘送出洋”、“擇優獎賞”、“優予出身”為誘，向私塾競爭人材。因為不收錢，送出國，還給官做，一時間吸引了許多人。據回憶，各省前來應考的達數千人之多，其中多數是清寒子弟，也有一部分人是不滿科舉的有誌之士。經過不拘一格的嚴格挑選，百裏挑一，第一次錄取了師範生四十名。他們都是二十至三十歲的青年人，其中許多人已是舉人、廩貢生。
一八九七年四月七日(光緒二十三年三月六日)，公學師範院借徐家匯一所民房正式開學了。這是我國教育史上第一所新式的師範院的誕生。
師範院學生的中文基礎較好，但西文西藝一點不懂。學校聘請了外國教師福開森、薛來西、勒勞爾、樂提摩等講授外語和數理化知識；中國教師有著名的翻譯家李維格，數學教師陳諸藻，物理教師陸之平，化學教師黃國英等。每天按鍾點上五六節課，學生按程度高低分班；課程有英文、日文、德文、數學、物理、化學等；中文課由學生自選自學為主，教師輔導，好像讀研究生。
為了使師範生能夠邊學習邊實踐，同時也解決中學、大學學生來源，一八九七年又辦了一所外院(即小學)。要衝破舊的教育製度，動員孩子上新式學堂是十分困難的。因此，當時招來的小學生都是十多歲到十七八歲的，程度也參差不齊。學校從師範生中挑選出最優秀的作外院的教師，組織他們自編教材，自己翻譯教科書，一邊學一邊教，把這所小學辦得頗有生氣，聞名全國，因而也逐漸吸引了許多優良人材，如民族英雄蔡鍔就是在一八九九年考進公學外院讀書的。當時他的名字叫蔡艮寅。
師範院和外院學生在校受極其嚴格的訓練，管理十分苛刻。除了給予新的科學知識外，還要受封建倫理的束縛，要朝聖拜孔讀經，以保存國粹。
公學的師生都十分愛國愛校，以國家民族興亡為己任，都十分刻苦的攻讀西文西藝等新知識，發憤要為社會作一番事業。當時學校有校歌叫“勤勉歌”，教育學生勤讀，講禮節，守紀律，做對社會有益的人。師範院有院歌《警醒歌》，是教務長張煥倫撰寫的，反映青年在國家民族沉淪時要立大誌，鼓舞青年刻苦讀書為國家為民族挑大梁，自覺奮發，不作“碧眼奴”，歌詞悲憤激昂。每逢初一、十五，校長率領全體師生沐浴後，戴大帽子，穿長袍，著大袖對襟的天青馬褂，腳登尖頭靴，集體到聖位(孔子牌位)前行三跪九叩禮，然後簫管齊奏，師生和聲高唱。據校友回憶，唱時十分莊嚴肅穆，唱到高昂處，師生皆淚下。歌詞的內容到他們年邁時，仍念念不忘。
師範院共辦了七年(一八九七—一九〇三)招收了七十二名學生，為我國新式教育培養了一批優秀的教育家和實業家，如陳懋治、沈慶鴻等等。