В Саратове создали приложение-переводчик с русского жестового языка
Авторами проекта стали выпускники Института прикладных информационных технологий и коммуникаций СГТУ Анастасия Халеева и Марина Крылова
Разработчики в Саратове создали мобильное приложение по обучению и распознаванию языка жестов с помощью нейросети. Оно позволит преодолеть языковой барьер с людьми с нарушениями слуха, сообщили ТАСС в пресс-службе Саратовского государственного технического университета имени Гагарина Ю. А. (СГТУ).
"С помощью приложения пользователи могут научиться понимать и разговаривать на языке жестов, а нейросеть поможет быстро распознать жесты через камеру смартфона. Кроме того, функция системы "Свободное распознавание" позволяет в режиме реального времени переводить распознанные жесты в текстовый формат, что удобно при общении с людьми с ограниченными возможностями. <…> Приложение предназначено для преодоления языкового барьера с людьми, у которых есть нарушения слуха. Разработка политеховцев сделает обучение более доступным и интерактивным", - отметили в вузе.
Как подчеркнули в СГТУ, мобильное приложение по своим функциям объединило лучшие черты аналогов и имеет ранее неиспользуемые на российском рынке функциональные возможности, что делает его перспективным и уникальным.
Благодаря программе пользователь может изучать теорию, просматривать словарь, проверять свои знания и проходить интерактивное тестирование с помощью модели распознавания русского языка жестов. По информации разработчиков, чтобы повысить точность модели в режиме видеопотока, в работу были добавлены эпентезы - межжестовые движения. Сократить время распознавания в приложении помогает ограничивающая рамка для локализации области рук в кадре.
"Обучение пользователей наглядно проводится на трехмерных моделях кисти руки. Для нейросетевой модели создан собственный датасет русского языка жестов, который собирался совместно с сурдопереводчиками, а также посредством скрининга обучающих видеоресурсов. Модуль распознавания работает по следующему принципу: нейросетевая модель получает кадр изображения с видеопотока, определяет ладонь и находит 21 контрольную точку. Затем вектор точек передается модели, обученной на собственном датасете, которая посредством выбора наибольшей вероятности определяет жест", - приводятся слова одного из разработчиков Екатерины Кулаковой.
Авторами проекта стали выпускники Института прикладных информационных технологий и коммуникаций (ИнПИТ) СГТУ Анастасия Халеева и Марина Крылова. Руководитель - старший преподаватель кафедры "Прикладные информационные технологии" ИнПИТ Екатерина Кулакова.
29.07.2024