A szakember 1991 és 1998, majd 2007 és 2011 között irányította az együttest, amellyel tízszer nyert bajnokságot, ötször kupát és hatszor ligakupát. Smith 2008-ban UEFA Kupa-döntőt játszott a Rangersszel, a fináléban csapata 2-0-ra maradt alul az orosz Zenittel szemben. 1998 és 2002 között az Everton edzője volt.

Kétszer az év edzőjének választották Skóciában, 2004 decemberében pedig Berti Vogtsot követte a skót válogatott szövetségi kapitányi posztján.