古代的木鱼又称木鱼鼓、鱼鼓或鱼板，其形状、用法均与后世不同。《敕修百丈清规》卷八《法器章》木鱼条中说：“斋粥二时长击二通，普请僧众长击一通，普请行者二通。”由此可知，古代的木鱼主要用来作为集合僧众的讯号。

至于为何而做鱼形，《释氏要览》中说：“今寺院木鱼者，盖古人不可以木朴击之，故创鱼像也。又必取张华相鱼之名，或取鲸鱼一击蒲牢为之大鸣也，”《敕修百丈清规》中说，作鱼形是昼夜精进义：“相传云，鱼昼夜长醒，刻木像形击之，所以警昏惰也。”

至于木鱼的起源，有多种传说，但大都无据可考。今日诵经、礼佛时使用的头尾声相接团圆形木鱼，可能是明代的产物。一般，木鱼是横穿腹部中央，作中空的团栾形，头部、鳞甲、龙珠等多隈以黑漆压上金箔，其它部分则涂以朱红；安于小布团上，一包皮的木槌敲击腹部中央，其大小普通直径一尺或至六尺，较小的则有三寸至五寸等。

木鱼又称鱼鼓，《雪峰存禅师录》中有一首《咏鱼鼓颂》，对木鱼有生动的描述：“我暂作鱼鼓，悬头为众苦，师僧吃茶饭，拈槌打我肚。身虽披鳞甲，心中一物无，鸬鹚横溪望，我誓不入湖。”又说：“可怜鱼鼓子，天生从地养，粥饭不能飧，空肚作声响。时时惊僧睡，懒者烦恼长，住持闹喧喧，不如打游漾。”此中将木鱼警策大众的意味，以有趣的方式呈现出来。