嘉靖年间，倭寇屡次骚扰东南沿海。

吕光午，一名文，字正宾，号四峰，别号长离，吕世东之子，也是吕光洵之兄弟，他与其胞兄吕光升、徐渭与杨珂结社，号称“越中十子”。志载他们“诗词翰墨，号称两绝”，皆当时才俊。吕光午师事泰州学派宗师何心隐，为人倜傥不羁，善诗文，工真草，更善画，喜谈兵，谙韬略，早年绝意功名，好读古书，喜壮游。他也是浙东一位有名的侠客，以诗赋抗倭闻名。

浙江督抚胡宗宪养僧兵于杭州禅寺，吕光午与一少年入寺，为僧兵戏弄，怒击五百人，皆流血被面，被称为“天下勇士”，徐渭作诗赞曰“幕府厅前脚打人，夜报不周崩一壁。”

又倭寇包围桐乡，形势甚危，吕光午单骑破围，杀倭数百解围，其击倭寇时，每于倭酋之腰夺其刀。徐渭又作诗赞之曰：“有如前日桐乡之围无吕君，却是睢阳少南八。吕君虎腰额虎额，万橹梯城双臂格。”喻他为唐安史之乱中睢阳解围之猛将南霁云。又督抚阮鹗被倭寇困于桐乡，吕光午单骑破围，杀倭寇数百解围，阮鹗感激涕零，欲封官与他，被他谢绝，遂赠米五百石作为酬劳，吕光午全部分给当地饥民，以空囊而归，其仗义疏财如此。

后解桐乡之围后，吕光午邀徐渭做客新昌。席上，摆着美酒美食，美酒飘香，席间，两人饮酒笑谈，谈吕光午如何杀敌，杀了倭寇首领并取其腰下刀，如何放弃高官俸禄，谢绝封官，又如何分粮于百姓，空囊而归……吕光午边喝酒边向徐渭道来杀敌时的情景。能从倭寇的刀下救人，此人定是英武不凡，徐渭在席间不吝赞美，二人相谈甚欢，畅饮美酒，无话不说，徐渭本就对吕光午大加赞赏，经过这一次的谈话，更是对吕心生钦佩，吕光午也为交着这么一个朋友心生喜悦，二者皆是尽兴而归。后吕光午将倭刀赠予徐渭，徐赋诗作答：

海气扑城城不守，倭奴夜进金山口，

铜签半传鸊鹈青，刀血斜凝紫花绣。

天生吕生眉采竖，别却家门守城去，

独携大胆出吴关，铁皮双裹青檀树。

楼中唱罢酒半曛，倒着儒冠高拂云。

从游泮水践绳墨，却嫌去采青春芹。

吕生固自有奇气，学敌万人非所志，

天姥中峰翠色微，石榻斜支读书处。

此后，吕光午也因倭寇一战而出了名，万历初年，日本犯朝鲜，下诏聘天下谙将略者七人，吕光午居第二。后吕光午的师傅何心隐被张居正暴尸于朝天门，并有羽林军数千在其左右,月下有两人负其尸体而去，吕光午则仗剑为二人殿后，无人敢上前阻拦。有记载称吕光午“犯相国之怒，仰天大哭，收其遗骸，为之掩葬。”明笔记小说张大复《笔谈》载其事，后不知所终。