Демоверсию переводчика русского жестового языка разработали в НГУ
Демоверсию переводчика русского жестового языка разработали в НГУ
Студент 3-го курса Института интеллектуальной робототехники Ярослав Чеканов создал программу RSL Interpreter, которая позволяет переводить жесты в текст.
Демоверсия создана на основе технологий искусственного интеллекта. Приложение работает на пенсональных компьютерах в режиме реального времени и на мобильных устройствах. Пока поддерживает только дактиль (жестовую азбуку), в дальнейшем Ярослав планирует доработать модель, сделав ее более устойчивой, добавить больше жестов для перевода и обратный перевод – из текста в жесты и из голоса в жесты.
В Институте интеллектуальной робототехники НГУ студенты уже с третьего курса начинают работать над реальными проектами, которые направлены на решение задач индустриальных партнеров и социально значимых задач. В программе обучения есть спецпредмет «Управление производственным процессом и разработка программного обеспечения». В ходе обучения по данному курсу студент и пришла идея разработать что-то новое, при этом связанное с искусственным интеллектом. Вот что рассказал о работе над проектом Ярослав:
– Для создания приложения, над которым я работал самостоятельно, мне пришлось изучить русский жестовый язык. Очень трудоёмкой была задача собирать огромный датасет (массив данных для обучения модели) и сделать тестовое решение на нём. Однако оно оказалось удачным. Я собрал приложение в исполняемый файл. Оно читает изображение с видеокамеры до момента, пока не будет закончен перевод, который в дальнейшем выводится на экран.
Подобное решение на рынке предлагает СБЕР, но в разработке Ярослава использована другая архитектура, а само приложение работает быстрее, результат перевода более точный.
Этот проект не только способствует инклюзивности, но и открывает новые возможности взаимодействия для людей с ограниченными возможностями. Он может быть интересен специалистам в области обучения жестовому языку, машинного обучения и лингвистам, изучающим эту форму коммуникации.
Как говорит студент, во многом ему помог наставник – Михаил Витальевич Филиппов. Благодаря ему Ярослав пришёл к уникальному решению сложной задачи.
– На текущий момент готовы версии приложения для компьютера и телеграм-бот, которому можно присылать видео для перевода. Также на днях я завершил разработку мобильного приложения. В дальнейшем я собираюсь представить свой проект в рамках трека «Делаю» от «ТвойХод», – делится планами разработчик технологии.
По информации пресс-службы НГУ
Фото из архива «Навигатора»
Другие новости на тему
Комментарии