鹿门书院坐落在嵊州风光旖旎的芦峰山麓，此地因古木参天。时时得闻鹿鸣之声，故称“鹿门”。书院创始于南宋淳熙元年，由吕规叔创办，距今已有800多年的历史。现存建筑为清嘉庆五年重修，是一座四合式楼台建筑，底层为石砌台基，南、北两面各建一个拱劵洞，中间是正方形的天井，台基之上构建木结构房屋，四面相向，回廊相通。

吕规叔为什么要在此地创办鹿门书院？查遍古书，才方得领会。关于创院的缘由有一段颇为心酸的过往。吕规叔出生于世家“中原望族”，秉性“中通外直，不蔓不枝。”

南宋初年，金国铁骑入侵，朝廷上下意见不一。秦桧和宋高宗主和，吕规叔因坚持主战而得罪秦桧，被弹劾贬职至义乌。虽然多年后平反昭雪，也曾有机会再次当官。但他已无意仕途，决断官念。因妻子籍嵊州，又考虑此地无书院。便想在此风景迷人，历史名人辈出的胜地建一书院。

故迁至嵊州，在鹿鸣呦呦之地，带来一批东阳的能工巧匠，花费多年的时间建造书院，教读童子，以弘扬“为大地主心，为生民立命，为往圣继绝学，为万世开太平”的夙愿。

吕规叔的侄子、丽泽书院的创办者吕祖谦来到鹿门书院讲学。吕祖谦是南宋理学浙东学派的代表人物，与朱熹的闽学派和张栻的湖湘学派并驾齐驱，一时间，绍兴、宁波等地的学生慕名而来。　　

淳熙七年，鹿门书院又迎来了当朝第一学者——与吕规叔素有交往的大哲学家朱熹。史书记载，浙东大饥，时任浙东常平盐使的朱熹来嵊赈灾，访吕规叔于鹿门，并在鹿门书院讲学，题写“贵门”二字，自此鹿门改为贵门。

借赈灾之便而来鹿门书院讲学，多少有点不务正业之嫌。朱熹以道德文章见长，但并非迂腐古板的冬烘先生，有时看书看到头晕眼花，也会发发“书册埋头无了日，不如抛却去寻春”的牢骚。讲学之余，朱熹到白宅墅吕规叔的草堂溜达，看到四周老梅怒放如琼花，便大发诗兴，挥笔题下“梅墅堆琼”，见村口的访友桥下泉水叮咚可爱，又书“石泉漱玉”。    

至宋末的光景，恰逢宋代书院教育的极盛时期。鹿门书院已传到吕规叔的儿子吕祖璟一代，并加入了官办的意味，并有了大幅度的教学改革。吕祖璟本来是一介书生，面对着敌人的金戈铁马而投笔从戎，后来官至淮南安抚使。因与当时的宰相韩侂胄不合，走了父亲的老路——辞官。将心力都放在书院上。

吕祖璟继承了父亲的文化教育事业，又把练武纳入教学之中，从此，鹿门书院成了全国少有的培养文武全才的地方。当时，东侧是更楼，西侧是书院，南面的操场就是演武场，贵门到白宅墅的乡路是骑马射箭的场所。　　

至此，鹿门书院走上了多样化的发展之路，吕规叔的后人也秉承着其建院的初衷兴学教人，在鹿鸣声中，继续着为往圣继绝学的夙愿。