西樵山被叫做分手山是因为恋人去爬西樵山就会分手的传言。西樵山上的观音石像气势宏伟，但建造时并没有得到当地村民的支持，没有很好地与当地风水结合，加上观音为未结婚的女人，看不得情侣好合，所以一怒之下施咒让到此山情侣分手，虽然是传说，但因为有些情侣爬山后回来真的分手了，导致传言甚嚣尘上，分手山由此得来。