8 Kasım 1937 tarihinde doğdu. 1962'de Eskişehir İktisadi ve Ticari İlimler Akademisi'nin ilk mezunları arasında bulunan Büyükerşen 1966 yılında doktorasını tamamladı. 1968 yılında doçent, 1973 yılında profesör oldu. 1976'da mezun olduğu akademinin başkanlığına seçildi. 1982'de Anadolu Üniversitesi rektörlüğüne getirildi. 1987'de aynı göreve tekrar atandı. Ayrıca, 2 dönem Radyo Televizyon Yüksek Kurulu başkanlığını yürüttü. 1994 yılında 3984 Sayılı Kanununun çıkarılmasıyla bu görevinden ayrıldı.
Türkiye'nin ilk Sinema ve Televizyon Okulu'nun kuruluşunu Eskişehir'de gerçekleştirdi. Anıtkabir müzesinde Mustafa Kemal Atatürk'ün birebir boyutlardaki balmumu heykeli, yine Prof. Büyükerşen tarafından yapılmıştır. Ayrıca Eskişehir'de ikinci üniversitesinin kurulmasına ve dünyada tek olan açıköğretim fakültesinin kurulmasına da öncülük etmiştir.
Prof. Büyükerşen, 18 Nisan 1999 Seçimleri'nde Demokratik Sol Parti'den aday olarak oyların yüzde 44'ünü aldı ve Eskişehir Büyükşehir Belediye Başkanı seçildi. 28 Mart 2004 yerel seçimlerinde, oylarını %45'e çıkararak aynı göreve tekrar seçildi. 2009 yerel seçimlerinde yüzde 50 üzeri oy ile yeniden büyükşehir belediye başkanı seçildi. 27 Ocak 2011'de, istifa etmesini isteyen Demokratik Sol Parti yönetiminin talebine uyarak bu partiden istifa etti. 27 Şubat 2011'de Cumhuriyet Halk Partisi'ne (CHP) geçti. 2019 Türkiye yerel seçimleri'nde Cumhuriyet Halk Partisi'den 5. kez Eskişehir Büyükşehir Belediye Başkanı seçildi.
Evli ve iki çocuk sahibi olan Yılmaz Büyükerşen aynı zamanda iki torun sahibi. Kendi adını taşıyan Türkiye'nin ilk balmumu heykel müzesini 19 Mayıs 2013 tarihinde açmıştır.
