Для определения рода слова “бабай” его необходимо поставить в именительный падеж единственного числа, получается форма: “бабай” . Тогда в зависимости от окончания в слове “бабай” можно определить род.
Слово “бабай” употребляется в мужском роде (Потому как в начальной форме слова “бабай” окончание [а], [я] или [ ] нулевое).Полный морфологический разбор Cуществительного “бабай” находится по ссылке