南雄市境地质属燕山期花岗岩体及寒武纪震旦纪变质岩体。中部盆地在两亿年前是个大淡水湖，7000万年前于涸成陆地，属中生代白垩纪紫色砂页岩体。在紫色砂页岩上面间或分布有新生代第四纪卵石层和网纹状红土，在盆地周围与低山丘陵之间间或分布有老第三纪红色岩系。
早在元古代的震旦纪受到地质构造吕梁运动的作用，市境东北部油山荼坪岌一带形成了云母片岩，这是南雄最早的变质岩体。在此以后的地层有古生代的寒武纪、粤陶纪，古生代的石炭纪、二迭纪，中生代的三迭纪、侏罗纪、白垩纪，新生代的老第三纪、第四纪。
在南雄中部盆地与南北山区交接处形成了紫红色厚层砂页岩、紫红色粉砂岩夹砾岩，并形成了明显的断裂。如苍石、全安、杨历等处都可看见。整个盆地受喜马拉雅山运动作用，第一层(底层)形成紫红色厚层泥质粉砂岩、粉砂砾岩；第二层为青灰色泥质灰岩、紫红色厚层粉砂岩和互层；第三层为浅灰色砂砾岩、砂岩，局部夹青灰色薄层泥质粉砂岩，还有未分层岩体的红色砾岩、花岗质砾岩及砂砾岩。这一层的各种岩体是构成紫色土地区(盆地)的紫色砂页岩、红色砂页岩、红色砂岩等一系列红色岩系。
南雄地貌北宽南狭，南北两面群山连绵，中部盆地丘陵起伏。自古以来人们称南北山区为“南山”、“北山”。南山自西南向东北延伸，以青嶂山为主峰，海拔917米；西南行有高峰(海拔840米)、寨顶埂、山角寨(海拔858米)等山岭；东北走向有目龙埂、鸦子寨(海拔872米)、龙王脑（海拔616米）、猪头寨(海拔592米)、洪泰山(海拔716米)等山岭；南行有王石寨(海拔761米)等山岭；北由西南向东北伸展，以观音岽、帽子峰、油山为主峰。观音山海拔1429米，为全市最高峰，东有老殿顶(海拔1395米)、龙华山（1224米）、北有白沙髻(海拔1342米)、盘墙虎(海拔1262米),西有粑子岭(海拔1190米)、花髻脑(海拔917米)等山岭。帽子峰海拔1058米。东南行有中岭(海拔902米)、君子岭(海拔824米)、亚机岽岭(海拔875米)等山岭。西行有五峰山(海拔1224米)俚木山(海拔1045米)、南山(海拔1303米)、云前脑(海拔1131米)、月岭寨(海拔1010米）等山岭。油山海拔１０７３米。东行有穆公寨（海拔７８９米）；南行有西厢寨（海拔９６５米）、琵琶寨（海拔９３８米）；西行有梅岭、仙人岭（海拔７５６米）等山岭。
南雄地貌独特，按地势可分为三个层次：高层形以驼峰，海拔多在职１０００米以上，约占山地面积的６％；中层山峰连绵，海拔６００米左右，约占山地总面积２４％；底层（山座）海拔２００至６００米，约占山地总面积的３０％；基座庞大，约占山地总面积的４０％。南北山地均以４０度以上倾角向盆地倾斜。东西向则倾斜平缓，倾角一般１０－２０度。中部丘陵自东北向西南沿浈江两岸伸展，浈江斜贯其中，形成一狭长大盆地，地质学称之为“南雄盆地”。
