Joe Clark je pri 39 letih postal najmlajši kanadski premier leta 1979. Fiskalni konservativec Joe Clark in njegovi manjšinska vlada so bili po samo devetih mesecih oblasti premagani zaradi nezaupanja v proračun povečanja davkov in znižanja programov.
Po izgubi na volitvah leta 1980 je Joe Clark ostal vodja opozicije. Ko je Brian Mulroney leta 1983 prevzel vodjo napredne konservativne stranke Kanade in nato še predsednika vlade Leta 1984 je minister Joe Clark nadaljeval kot učinkovit minister za zunanje odnose in ustavni minister Zadeve. Joe Clark je leta 1993 zapustil politiko, da bi delal kot mednarodni poslovni svetovalec, a se je med leti 1998 in 2003 vrnil kot vodja Progresivne konservativne stranke.
Joe Clark je začel svojo politično kariero kot direktor Organizacije progresivne konservativne stranke Alberta od leta 1966 do 1967. Leta 1967 je bil posebni pomočnik konservativnega člana parlamenta Davieja Fultona. Od leta 1967 do 1970 je bil izvršni pomočnik konservativnega člana parlamenta Roberta Stanfielda.
Joe Clark je bil prvič izvoljen v Hišno zbornico leta 1972. Leta 1976 je bil izvoljen za vodjo napredne konservativne stranke Kanade in je bil do leta 1979 vodja opozicije. Joe Clark je po splošnih volitvah leta 1979 zaprisegel kot kanadski premier.
Konservativna vlada je bila leta 1980 poražena. Joe Clark je bil od leta 1890 do 1983 znova vodja opozicije. Joe Clark je sklical konvencijo o vodenju napredne konservativne stranke in leta 1983 izgubil vodstvo stranke Briana Mulroneyja.
V vladi Mulroney je Joe Clark od leta 1984 do 1991 opravljal funkcijo ministra za zunanje zadeve. Od leta 1991 do 1993 je bil predsednik sveta tajnih in minister za ustavne zadeve. Joe Clark na splošnih volitvah leta 1993 ni kandidiral.
Joe Clark se je leta 1998 vrnil kot vodja Progresivne konservativne stranke Kanade. Leta 2000 je bil ponovno izvoljen v skupščino. Joe Clark je leta 2002 dejal, da je vodil Progresivno konservativno stranko, kolikor je mogel. Odstop Joeja Clarka kot vodje napredne konservativne stranke je bil učinkovit na konvenciji o vodstvu maja 2003.