革命的路总是艰难而又曲折的，蔡元培虽然早已不是热血青年了，但是，一次次的挫折也使得他不免陷入彷徨之中。如同他在“自述”中所说：“在上海所图皆不成，意颇倦。”
19世纪末20世纪初，中国社会经历着“数千年未有之变局”。在此新旧交替的过渡期，一些有识之士开始走出国门、开眼看世界，希冀从西方强国寻求救亡兴国之道。
对蔡元培而言，此前的十数年里，主要是通过中国先觉的知识分子及日本学者翻译的西方思想学说，来了解和认识世界的形势和最新思潮，这些书籍也确实启蒙了他的诸多新思维。
但是百闻不如一见，从书上读到的毕竟是第二手的资料，况且，还夹杂着译著者自己的主观认识甚至于偏见。亲身到西方文化的发源地去看一看，挖掘更多的思想源泉、磨砺改造中国的思想利器，成了蔡元培梦寐以求的事。
20世纪初，中华大地上出国留学或考察蔚然成风，但大多是晚清政府公费官派的留学生，所去国又以日本为主，去欧洲的很少。
蔡元培曾于1902年夏到日本游历，但是他于留日并无兴趣。原因在于，日本虽然是一个善于学习的国家，通过学西方进行了明治维新，使得国力陡然走向强盛，但是日本并不是近代工业、近代思想和社会经济制度的发源地。
蔡元培一心想去追寻欧洲文明的源头，他梦想中的游学目的地是德国。
1903年6月中旬，因爱国学社与中国教育会的同志意见不合，发生了分裂，蔡元培便离开了爱国学社。在一段时间里他曾去青岛学德语，为赴德留学做准备。
次年，蔡元培的女儿出生，蔡元培取名“威廉”，尔后，他又为1906年出生的儿子取名“柏龄”(柏林)。为子女所取的这两个德国式的名字，可见蔡元培对赴德求学的向往和决心。
出国是为救国谋。蔡元培坚定地把留学目标定为德国，是因为在他看来德国是当时欧洲以至世界上哲学、教育学最发达的国家，在那里最能学到对中国有益的新知。
在西方近代教育的发展进程中，德国曾做出过重要贡献。赫尔巴特的《普通教育学》被认为是第一部具有科学体系的教育学著作。福禄贝尔创办的幼儿园影响了世界学前教育的发展。近代西方的教育视导、公立教育、义务教育制度、实科教育、师范教育、双规学制和双元制职业教育等，也大多起源于德国，并对其他国家产生了重要影响。
拿破仑战争后，普鲁士引进了教师需要国家认证的制度(1810年)，这提升了教师的教学水平。1812年，普鲁士开始设置中等学校的升学考试(这在1788年已被发明)；到了1871年，整个德意志帝国都接受了这种制度。此后，德国的学校教育开始变得较系统化和国家化，更多的学校被建立起来。
“救国必以学，世界学术德为尊，吾将求学于德”。在给清廷学部的留德申请呈文中，蔡元培这样写道：“窃职素有志教育之学，以我国现行教育之制，多仿日本。而日本教育界盛行者，为德国海尔伯脱派。且幼稚园创于德人佛罗比尔。而强迫教育(即义务教育)之制，亦以德国行之最先……欧美各国，无能媲者。爰有游学德国之志……至少以五年为期。冀归国以后，或能效壤流之助于教育界。”
蔡元培在给清政府呈文里的这一番话，是他的肺腑之言。
怎么才能去德国留学呢？蔡元培在寻找机会。
朋友们知道蔡元培的想法，1906年的5月间，有北京的朋友来信告诉蔡元培，清政.府拟公派几名翰林院编检出国留学，劝其尽快去京登记。不久，他从报纸上也看到了同样的消息，自然是机不可失。
他于6月下旬先抵上海，去迎接章太炎出狱，并送其去日本。随后参加邹容死难周年纪念日，并了却了为这位先逝的青年志士在墓前修纪念塔的心愿。
这些举动，很像是为他自己在沪上的革命活动，画上一个句号。
1906年7月，蔡元培从故乡绍兴回到阔别多年的京城，第一件事是按例到翰林院销假。此时，他的心情是很复杂的，他在给友人汪康年的信中，表明了自己的心境。
“弟此次进京销假，本为最不安之事。徒以游学德意志之志，抱之数年，竟不得一机会。忽见报载学部有咨送翰林游学东西洋之举，不能不为之心动。初亦恐进京事不成，徒折吾节。故初则电询陈介公，后又电询王书公，其回函均称非进京不得图。王书翁到沪面谈并催弟速行。因此七月进京，此亦日暮途远之为，不意竟成夸父逐日之失……盖弟数年来，视百事皆无当意。所耿耿者，惟此游学一事耳。”
汪康年（1860.1.25-1911.11.4），浙江钱塘（今杭州市）人。字穰卿，晚号恢伯，光绪年间的进士。是清末维新派人士，当过张之洞的幕僚。中国近代的出版家、政论家。中日甲午战争后，更是积极主张变法图强。
1895年（光绪二十一年），参加上海“强学会”。次年，与黄遵宪办《时务报》，自任经理，延梁启超主编。曾著文宣传资产阶级民权思想。后改为《昌言报》，不久停刊。
1898年创《时务日报》于上海，旋易名《中外日报》，拥护清政府实行“新政”。曾支持上海人民反对法人侵占“四明公所公墓”。
1901年《辛丑条约》签订后，俄军久驻奉天（今沈阳市）不撤，他愤然致电中外，慷慨力争。
1904年任内阁中书。1907年在北京办《京报》。1910年（宣统二年）办《刍言报》。著有《汪穰卿遗著》《汪穰卿笔记》等。
蔡元培到京后，开始听到的消息是因为经费困难，缓派赴欧留学人员。他将给清廷学部的留德申请呈上后，便耐心等待。经多方打听，不久便搞清楚了，原来“愿赴欧美者人数太少，派送之事竟搁置不办”，蔡元培的同乡肖伯棠，缪献甫极力劝说他自费留学，并慨然代为筹资。
蔡元培于是一方面应译学馆馆长章一山之聘，出任该馆国文教员。一方面向学部申请自费留学，等待批准。
1907年4月，清政府任命孙宝琦为驻德公使，这为蔡元培赴德提供了机会。孙宝琦的弟弟孙宝暄与蔡元培是故交，由孙宝暄从中介绍，蔡元培到孙宝琦家登门拜访，求孙宝琦帮忙，在驻德使馆安排一任职，帮助他实现留德的心愿。
孙宝琦早就认识蔡元培，并且印象极佳。不但一口答应帮忙，为免于影响他的学习，给他安排了个虚职。除了为蔡元培去德国提供方便外，实际是每月资助学费30两(合42银圆)。
与此同时，蔡元培还通过挚友张元济与上海商务印书馆商洽，特约他在德国为该馆翻译德文著作，每月付给稿酬100银圆。这两笔收入远不能解决蔡元培在德国的费用和国内妻儿的家用，但蔡元培迫切的心情使他也顾不了许多。
很快，蔡元培抛家别子，于6月随孙宝琦一行前往德国，开始了他的首次欧洲之行。
据统计，清末留德的中国学生前后总计有人，其中官费生87名，自费生27名，年龄多数不到25岁。在早期众多的留学生中并不乏自费生，但是，蔡元培可谓是不依赖国内支持、“半工半读”的第一个留学生。而且当时的蔡元培已是年近四旬，年纪远远超过其他留学生。
蔡元培在德国第一年居住在柏林，由于经济拮据，生活非常艰苦，他曾以“半佣半丐之生涯”来形容自己的这段德国求学生活。
为解决在德国生活和求学的费用，蔡元培在孙宝琦的介绍下，为时在柏林留学的唐绍仪之侄等四人做国学家庭教师，月薪100马克(合55银圆)。
在为他人补习国学获得一定生活费用的同时，蔡元培还要请老师为自己补习德语。蔡元培虽在青岛时学过德语，但远没过关。德语那生疏的文法、拗口的发音对年近四十的蔡元培来说，学习起来艰难程度可以想见。
蔡元培初到德国时住在柏林，主要补习德语，为考柏林大学作准备。
1908年暑假，蔡元培便申请就读德国最有名的柏林大学，但因不能提供中学毕业证书而无法注册入学，他只好离开柏林前往莱比锡大学。没有进入德国最有名的柏林大学当然遗憾，但莱比锡大学也属当时的尖子大学，建于1409年，是德国最古老的大学之一，拥有哲学家和实验心理学创始人冯特和历史学家兰普来西等一批一流的学者。当蔡元培来到莱比锡大学时，正是大学500年校庆的前夕，也是莱比锡大学最为辉煌的时期，学生人数达到12000人之众。
关于这段经历，蔡元培曾自述：“我在柏林一年，每日若干时学习德语，若干时教国学，若干时为商务编书，若干时应酬同学，实苦应接不暇。德语进步甚缓，若长此因循，一无所得而归国，岂不可惜！适同学齐君宗颐持使馆介绍函向柏林大学报名，该大学非送验中学毕业证不可，遂改往来比锡（Leipzig）进大学。”