Yahya Efendi Dergahını yaptırdığı zaman o civarda Ortaköy Rumlarından başka kimseler yoktu. Bir gün bir Rum Çoban davar güderken koyunlarından iki tanesi dergâhın bahçesine girmiş. Koyunlarını çıkarmak maksadıyla dergahın bahçesine giren çoban bir dervişin:
- Ne arıyordun? sorusuyla irkilerek:
-Koyunlarımı arıyordum demiş.
Çobanı gören Yahya Efendi Rum Çobanı dergaha içeri aldırmış o na:
-Gel bakalım gel... Koyunlarını mı istersin kendini mi? Yoksa ikisini birden mi ne dersin? diyerek çobanı rahat bir yere oturtarak:
-Yağ bal ve ekmek getirin demesiyle hemen anında sofra kuyrulmuş isteneler gelmiş sofra kurulunca Yahya Efendi Rum Çobana:
-Hayde bakalım bismillâh buyur işte sana tereyağı mumlu bal ve taze nan ister ise yağa ban ister isen bala ban demiş.
Bu tatlı ortamdan sonra çoban koyunlarına değil de kendine talib olmuş o gün orada o vesileyle Müslüman olduğu için adı Balaban kalmış.