1960年2月3日，勒夫出生在巴登·符腾堡州勒拉赫县舍恩瑙镇，他的父亲是一名锅炉安装工。勒夫就读于科隆体育大学，在此期间他结识了同在科隆体育大学学习的尤尔根·克林斯曼，此后两人成了挚友。1978年，18岁的勒夫在弗赖堡足球俱乐部开始职业球员生涯。此后效力斯图加特足球俱乐部、法兰克福足球俱乐部、厄卡尔斯鲁足球俱乐部、沙夫豪森足球俱乐部和温特图尔足球俱乐部等球队。