仙牛石在南雄市乌迳镇庙前村附近。传说很久以前，这里有一位姓赖的老大爷，其妻先后生了六个孩子，由于贫病交加，六条小生命都相继丧生。夫妻俩老而无嗣，生活越来越困难，家中田地，因年老无力耕种，赶不上生产季节，以致失收。老俩口十分焦急，仰天无奈。
有一年春天，快要开耕的时候，老大爷来到田间站着发愁。忽然，天空轻飘一片白云，细拂一阵儿清风，来了一位鹤发童颜，手握神鞭的老人。赖大爷想走上前去打招呼，那老人一闪便无影无踪了。谁知，第二天早晨，老翁化作仙牛帮赖大爷耕田。下午，赖大爷到了田间，见到田里的犁耙做好了，暗暗诧异。不久，乡亲们也来帮他插好了秧。收割时节，乡亲们又来帮忙，并把谷子晒士挑到屋里，老俩口真不知怎样感谢仙牛和乡亲们。年年如此，赖大爷老俩口得到仙牛和乡亲们的帮忙，逐渐过上了好日子。
可是，仙牛私自下凡为赖大爷耕田，触犯了天规，玉帝派雷公收伏仙牛，仙牛宁死也不愿离开凡间，这样雷公便把仙牛劈死了。仙牛死后变成了一只大石牛,高高地站立在山顶上。当地人称此山为“仙牛石”，又有人称“牛子石”。
清乾隆年间，进士赖堂为仙牛石留下一诗：
远望西山怪石牛，仙人留下几千秋。
大风拂拂无毛动，细雨霏霏有汗流。
嫩草成堆难开口，铁鞭任批不回头。
自古至今长在此，天地为栏永不休。
