诸暨望烟楼图史丰富，四面开窗，登临其上可以尽览山川风物之美。它是宋朝卫尉少卿黄振所筑，也是黄家的藏书楼。

黄振家境殷实，自幼聪明过人，喜爱书籍。他经常派人四处寻访书籍，对于善本孤本，更是一掷千金，毫不吝啬。他苦心孤诣，终于如愿以偿地建起了一座颇具规模的书楼。黄振的书楼最是与众不同：不是藏书，而是借书；不是有偿借阅，而是免费开放；不但免费开放，而且对寒门学子招待饭食。

如此义举，消息不胫而走，三衢的刘仲章来了，钱塘的叶之奇和齐塘来了。他们以书会友，黄家台门从此笑声不绝。

有一年，他们齐齐约定，元宵佳节来诸暨一聚。黄振闻讯，喜不自胜，早早做了准备。将近中午，第一位到的是刘仲章，他却并没穿他平日常穿的长衫。原来，他在路上见一老者衣衫单薄，心中不忍，便将自己的外套救了急。黄振听了，不禁一阵唏嘘。

刘仲章前脚进门，叶之奇和齐塘随后就到。两人一进门就大声嚷嚷，肚子饿瘪了，快给弄点吃的。原来，两位一路遇到好几拨逃荒饥饿的人群，将盘缠一次次送人，最后连自己吃饭也成了问题。

摆好酒席，黄振默坐一旁，闷闷不乐。三人开玩笑说，黄兄如此愁眉不展，好像不大欢迎我们？黄振连忙起立，海涵海涵，千万不要误会。三位兄台不辞辛劳，风尘仆仆赶赴寒舍，已经给了我太大的面子，只是我对不起诸位呀。

大家如坠云里雾里，黄兄此话从何说起？要是没有黄兄当年的接济厚爱，何来我等今天？

黄振再次打躬作揖。俗话说，锦上添花易，雪中送炭难。想我黄振家有薄资，而四邻却有衣不遮体、食不果腹者，害得诸位解衣散财，岂非黄某无能？黄振一出此话，三位才子竟然一时无以应对。

数天后，三位好友先后辞别，黄振依然郁郁寡欢。最终，黄振与夫人计议，即使自己倾家荡产，也要让乡亲们有口饭吃。

可是这里是山区，东一家西一户住得很散，如何才晓得谁家缺粮呢？总不能挨家挨户去问吧？想呀想的，有了，我家藏书楼地势高，每天烧饭的时候，只要有人到上面一看，烟囱不冒烟的人家肯定没米了，马上送去，不就行了？

从那以后，一天三次都有人去楼上观察。黄振自己有空就自己去，自己没空就叫别人去，天天如此，从不间断。只要有一个烟囱不冒烟，就立刻送去吃的。如果了解到哪家缺衣少被，黄振也派人一一送上，不准遗漏一家一户。于是数里方圆，再也没人受冻挨饿了。乡亲们对黄振夫妻感激不尽，称义庄为“仁寿庄”，称这间专门观察烟囱的小楼作“望烟楼”。

望烟楼凝聚着黄振望烟义举的仁义之心。它不仅是黄家扶贫济困的高尚家风的吐露，也是中华民族择善而为优秀传统的展现。北宋著名哲学家、工部侍郎、龙图阁直学士杨时与望烟楼的黄氏族人是好友，他登临望烟楼，感动于望烟义举，撰写了《望烟楼记》来赞扬和纪念。