Переводчик жестового языка

Студент 3-го курса Института интеллектуальной робототехники НГУ Ярослав Чеканов создал программу RSL Interpreter, которая позволяет переводить жесты в текст.

Демоверсия создана на основе технологий искусственного интеллекта. Приложение работает на персональных компьютерах в режиме реального времени и на мобильных устройствах. Пока поддерживает только дактиль (жестовую азбуку), в дальнейшем Ярослав планирует доработать модель, сделав её более устойчивой, добавить больше жестов для перевода и обратный перевод – из текста в жесты и с голоса в жесты.

В Институте интеллектуальной робототехники НГУ студенты с третьего курса начинают работать над реальными проектами, которые направлены на решение задач индустриальных партнёров и социально значимых задач. В программе обучения есть спецпредмет «Управление производственным процессом и разработка программного обеспечения». В процессе обучения студенту и пришла идея разработать что-то новое, при этом связанное с искусственным интеллектом.

– Для создания приложения, над которым я работал самостоятельно, мне пришлось изучить русский жестовый язык, – рассказал Ярослав. – Очень трудоёмкой была задача собирать огромный датасет (массив данных для обучения модели) и сделать тестовое решение на нём. Однако оно оказалось удачным. Потом собрал приложение в исполняемый файл. Оно читает изображение с видеокамеры до момента, пока не будет закончен перевод, который в дальнейшем выводится на экран.

Подобное решение на рынке предлагает СБЕР, но в разработке Ярослава использована другая архитектура, а само приложение работает быстрее, результат перевода более точный.

Этот проект не только способствует инклюзивности, но и открывает новые возможности взаимодействия для людей с ограниченными возможностями. Он может быть интересен специалистам в области обучения жестовому языку, машинного обучения и лингвистам, изучающим эту форму коммуникации.

Как говорит студент, во многом ему помог наставник – Михаил Витальевич Филиппов. Благодаря ему Ярослав пришёл к уникальному решению сложной задачи.

Уже готовы версии приложения для компьютера и телеграм-бот, которому можно присылать видео для перевода. Также недавно Ярослав завершил разработку мобильного приложения.

По информации пресс-службы НГУ

Другие статьи на тему

Человек и общество

Все проблемы – из-за нехватки водителей

144 0

"Навигатор" № 37 (1459) от 20.09.24

Человек и общество

Всегда спешит делать добро

153 0

"Навигатор" № 37 (1459) от 20.09.24

Человек и общество

«Струна»: проект 2.0

140 0

"Навигатор" № 37 (1459) от 20.09.24

Человек и общество

Сказки своей души

135 0

"Навигатор" № 37 (1459) от 20.09.24

Человек и общество

Изучает квантовые точки

139 0

"Навигатор" № 37 (1459) от 20.09.24

Человек и общество

Онлайн-тур на Кара-Бом

123 0

"Навигатор" № 37 (1459) от 20.09.24

Популярное

Юридическая информация

Правила подачи объявления на сайт

Условия подачи объявления:

Внимание, объявления модерируются. Это значит, что объявления будут опубликованы после проверки модератором.
1. Подать объявление может только зарегистрированный пользователь
2. Каждый пользователь может подать 15 бесплатных объявлений в месяц. Если Вы исчерпали свой лимит, то Вы можете подать дополнительное объявление за 10 руб.
3. Объявление должно соответствовать Правилам размещения, в другом случае Ваше объявление будет удалено модератором.

Правила размещения:

1. Размещение контактной информации в поле «Описание» запрещено.
2. Ваше рекламное объявление по своему содержанию должно соответствовать действующим законам РФ и этическим принципам нашего Издания.
3. Нельзя размещать информацию об услугах интимного характера: услугах, связанных с оккультизмом, магией, гаданием; информацию, которая может ввести читателей в заблуждение и стать причиной финансового или материального ущерба; информацию о деятельности, способной причинить вред физическому и психическому здоровью граждан.
4. Не должны нарушаться интеллектуальные права третьих лиц (чужие фото и т.д.). Фото и ссылки на видео не должны содержать сцен насилия, несчастных случаев, катастроф, грубого обращения с животными, приема и/или изготовления наркотических средств, изготовления взрывчатых веществ и пр.

В случае нарушения правил:

1. Редакция оставляет за собой право удалять объявления, поданые с нарушением правил.
2. Если объявление было размещено с помощью платных услуг — деньги не возвращаются.

Правила подачи комментариев

Контакты, реквизиты

Платные услуги

Оплата

Уважаемый клиент!

Вы можете оплатить свой заказ онлайн с помощью банковской карты через платежный сервис компании Onpay. После подтверждения заказа Вы будете перенаправлены на защищенную платежную страницу Onpay, где необходимо будет ввести данные для оплаты заказа. После успешной оплаты на указанную в форме оплаты электронную почту будет направлен электронный чек с информацией о заказе и данными по произведенной оплате.

Гарантии безопасности

Безопасность процессинга Onpay подтверждена сертификатом стандарта безопасности данных индустрии платежных карт PCI DSS. Надежность сервиса обеспечивается интеллектуальной системой мониторинга мошеннических операций, а также применением 3D Secure - современной технологией безопасности интернет-платежей.
Данные Вашей карты вводятся на специальной защищенной платежной странице. Передача информации в компанию Onpay происходит с применением технологии шифрования TLS. Дальнейшая передача информации осуществляется по закрытым банковским каналам, имеющим наивысший уровень надежности.
Onpay не передает данные Вашей карты магазину и иным третьим лицам!
Если Ваша карта поддерживает технологию 3D Secure, для осуществления платежа, Вам необходимо будет пройти дополнительную проверку пользователя в банке-эмитенте (банк, который выпустил Вашу карту). Для этого Вы будете направлены на страницу банка, выдавшего карту. Вид проверки зависит от банка. Как правило, это дополнительный пароль, который отправляется в SMS, карта переменных кодов, либо другие способы.

Возврат

ПУБЛИЧНАЯ ОФЕРТА

Публичный договор-оферта
на оказание платных услуг сайта navigato.ru

1. Настоящий документ является Публичной офертой - официальным договором на оказание платных услуг сайта navigato.ru в дальнейшем - Исполнитель и содержит все условия предоставления услуг.
2. В соответствии с п.2 статьи 437 ГК РФ, в случае принятия изложенных ниже условий и расценок на размещение платных объявлений юридическое или физическое лицо, производящее акцепт настоящей оферты, именуется Заказчиком (п.3 статьи 437 ГК РФ - акцепт оферты равносилен заключению договора, на условиях, изложенных в оферте ). Заказчик и Исполнитель вместе именуются Сторонами настоящего договора.
3. Внимательно прочтите материалы договора публичной оферты, ознакомьтесь с правилами подачи объявления и платными услугами. В случае несогласия с условиями договора или одного из пунктов, Исполнитель предлагает Вам отказаться от использования платных услуг сайта navigato.ru.
4. Оферта - официальный публичный документ по оказанию платных услуг сайта navigato.ru , опубликованный по адресу http://navigato.ru/ (Юридическая информация).
5. Акцепт оферты - полное принятие Заказчиком условий настоящего договора путём оплаты услуг сайта navigato.ru , акцепт оферты создаёт договор оферты.
6. Заказчик - юридическое или физическое лицо, осуществившее акцепт оферты, и являющееся Заказчиком платных услуг Исполнителя по договору оферты.
7. Договор оферты - договор между Исполнителем и Заказчиком на оказание платных услуг, заключённый посредством акцепта оферты.
8. Оказание Заказчику платных услуг на условиях договора является предметом настоящей оферты. Перечень платных услуг и расценки приведены ниже, и являются неотъемлемой частью настоящего договора.
9. Исполнитель имеет право в любой момент изменить условия настоящего договора и расценки на платные услуги без предварительного согласования с Заказчиком, обязуясь опубликовать изменения по адресу http://navigato.ru/ (Юридическая информация) не менее чем за один день до вступления изменений в силу.
10. Платные услуги доски объявлений предоставляются в полном объёме при условии 100% оплаты Заказчиком.
11. Ознакомившись с платными услугами и правилами подачи объявления создаёт объявление и оплачивает услугу через один из доступных на сайте платёжных сервисов.
12. После проведения Заказчиком оплаты выбранных услуг и перечисления денежных средств на счёт Исполнителя, договор оферты вступает в силу.
13. Исполнитель обеспечивает предоставление консультационных услуг Заказчику по выбранной им платной услуге.
14. Услуги считаются оказанными в полном объеме, если в течение 12 часов после оплаты услуги Заказчиком не выслан мотивированный отказ от услуги на e-mail Исполнителя.
15. По письменному требованию Заказчика Исполнитель может распечатать договор оферту с подписями Сторон, который будет представлять юридическую силу, равную юридической силе настоящего договора.
16. Исполнитель делает всё возможное для бесперебойного предоставления Заказчику оплаченных услуг в полном объеме.
17. Исполнитель не несёт ответственности за неисполнение оплаченных услуг, в случае если нарушение договора оферты вызвано не зависящими от него обстоятельствами непреодолимой силы - наводнением, землетрясением, действиями властей, отсутствием электроэнергии, сбоями в сети интернет, общественными беспорядками, другими стихийными бедствиями и прочими обстоятельствами, неподконтрольными Исполнителю, которые могут помешать исполнению условий настоящего договора оферты.
18. В случае невозможности исполнения условий договора оферты, Исполнитель обязуется произвести возврат денежных средств, оплаченных Заказчиком за выполнение услуги. В других случаях возврат денег не производится.
19. За невыполнение обязательств настоящего договора оферты Стороны несут ответственность в соответствии с законодательством Российской Федерации. Договор вступает в силу с момента акцепта оферты и действует до выполнения Сторонами своих обязательств. Спорные вопросы решаются путём переговоров Сторон.