理想破灭，同道零落，陆明远心灰意冷，深感庙堂之上已无自己置喙之地。他断然挂冠而去，将大半生积蓄及部分祖产变卖，散尽家财，在挚友的帮助下，于栖霞山购得这片清幽山地。此后三年，他亲绘蓝图，督工选料，一砖一瓦，一草一木，皆灌注心血，终使这所承载着他未竟理想与全新教育理念的书院，从图纸化为现实。

书院落成，他取《诗经·小雅·鹿鸣》中“呦呦鹿鸣，食野之苹”之句，命名为“白鹿书院”。他曾于开学典礼上，对首批学子殷殷寄语：“鹿，灵兽也。饮清泉，食净草，性高洁，不履污浊。吾愿诸生，于此山中，能如白鹿，葆赤子之心，养浩然之气。所学不为功名利禄所染，所行不为门户偏见所蔽。明理求真，修身济世，方不负‘白鹿’之名。”

如今，十年光阴荏苒。书院从最初门庭冷落、备受质疑，到渐渐声名鹊起，成为京城一个独特的存在。它不仅吸引了许多家境贫寒却天资聪颖、渴望改变命运的学子，也让一些思想开明的官宦世家，悄悄将女儿送来此处——并非为了科举仕途（女子不得参加科举），而是为了让她们能识字明理，开阔眼界，不至于困于深宅，只识女红厨艺。

当然，非议从未停歇。卫道士们斥责书院“牝鸡司晨”、“淆乱纲常”；保守的学究讥讽其“不务正业”、“离经叛道”；更有甚者，散布流言，污蔑书院藏污纳垢，有伤风化。然而，陆山长德高望重，学问人品举世公认，门生故吏虽多已分散，但影响力犹在。加之朝中仍有几位掌权的开明大臣，如新任左相沐青阳等，对书院理念暗中赞许，多有回护。因此，那些鼓噪大多止于口舌之争，或匿于暗处的中伤，倒真无人敢明火执仗地前来寻衅滋事。

白鹿书院，便在这赞誉与毁谤交织的声浪中，如山间白鹿，安静而坚定地走着自己的路，成为这煌煌帝都之侧，一片独特而执拗的风景。