Для определения рода слова “витийство” его необходимо поставить в именительный падеж единственного числа, получается форма: “витийство” . Тогда в зависимости от окончания в слове “витийство” можно определить род.
Слово “витийство” употребляется в среднем роде (Потому как в начальной форме слова “витийство” окончание [е], [о]).Полный морфологический разбор Cуществительного “витийство” находится по ссылке