Лента новостей

Все новости

Популярное

Теперь мы поймем друг друга: ученые создали переводчик для слабослышащих

 Леон   Фото: предоставлены героем

Теперь мы поймем друг друга: ученые создали переводчик для слабослышащих

Ученые НГТУ и IT-компания «Адаптис» совместно разработали первый в России анимированный сурдопереводчик. Теперь слабослышащие могут общаться с любым человеком без помощи жестов.

Это чудо науки и техники умещается в обычном телефоне. Теперь глухой человек может установить аватар – разработанную программу – на свой смартфон и спокойно общаться! Нужно только навести видеокамеру на говорящего и аватар переведет разговор на русский жестовый язык. Правда, пока связь будет односторонней – перевод с языка жестов на голосовую речь дело недалекого будущего. 

«Человек говорит на конференции. Его слова отправляются на наш сервер распознавания речи. Аватар показывает нужные жесты, и все это происходит практически синхронно!» – поясняет Михаил Гриф, профессор кафедры автоматизированных систем управления НГТУ.

Сначала эта разработка была протестирована на различных публичных мероприятиях. А потом ученые НГТУ перевели целый учебный видеокурс по материаловедению на русский жестовый язык. Выглядит это так: лектор представляет материал, в уголке экрана (телефона или компьютера) аватар переводит звуковой рассказ на язык жестов. 

Прежде чем стать двигающимся персонажем на экране, аватар проходит технологию Motion Capture. Иными словами, при помощи специального костюма с датчиками ученые могут записывать жесты человека и переносить их в аватар. Умное «изделие» все это запоминает, а потом выдает на экран в нужной последовательности. Словарь постоянно пополняется.


Работа над технологией началась 25 лет назад в Новосибирске, под руководством ныне профессора Михаила Грифа. 

«К нашей кафедре обратились с просьбой. Задачей было обучить глухих студентов информатике и вычислительной технике до уровня бакалавра. Мы с коллегами столкнулись с тем, что у нас была нехватка переводчиков. Мне пришла идея сделать компьютерный перевод. В 1997 году мы представили первый в мире вариант компьютерного переводчика на международной Сибирской ярмарке», – сообщает Михаил Гриф. 

Следующим изобретением ученых стал «Сурдофон», над которым они работали с 2012 до 2017 года. Компьютерный персонаж «Сурдофона» позволял переводить речь в жесты, но движения переводчика не были похожи на человеческие. Поэтому не передавали все тонкости русского жестового общения. Эту проблему разработчики решили в 2021 году. 

«Адаптис» участвует в разработке, они купили мокап-студию (прим. ред. Motion capture), в свою очередь НГТУ привлек исследователей и экспертов. Они больше по аватару, а мы, НГТУ, по распознаванию жестовой речи», – говорит профессор Гриф. 

В таком партнерстве ученым удалось записать для аватара три тысячи жестов. Но это слишком мало для того, чтобы передать всё многообразие речи. 

«Проблема заключается в многозначных словах и омонимах, аватар может неправильно их показать. Допустим, лисички – это могут быть грибы или животные. Поэтому нам нужно поставить модуль, который будет выявлять лексические значения», – добавляет Михаил Гриф. 

Но для того, чтобы аватар появился в распоряжении любого нуждающегося, нужно решить еще массу технических проблем, а для этого требуются внушительные затраты. Михаил Гриф подмечает, что в будущем НГТУ планирует и другие разработки, которые будут касаться перевода с русского жестового языка. 

Ученые НГТУ и IT-компания «Адаптис» совместно разработали первый в России анимированный сурдопереводчик. Теперь слабослышащие могут общаться с любым человеком без помощи жестов.

Это чудо науки и техники умещается в обычном телефоне. Теперь глухой человек может установить аватар – разработанную программу – на свой смартфон и спокойно общаться! Нужно только навести видеокамеру на говорящего и аватар переведет разговор на русский жестовый язык. Правда, пока связь будет односторонней – перевод с языка жестов на голосовую речь дело недалекого будущего. 

«Человек говорит на конференции. Его слова отправляются на наш сервер распознавания речи. Аватар показывает нужные жесты, и все это происходит практически синхронно!» – поясняет Михаил Гриф, профессор кафедры автоматизированных систем управления НГТУ.

Сначала эта разработка была протестирована на различных публичных мероприятиях. А потом ученые НГТУ перевели целый учебный видеокурс по материаловедению на русский жестовый язык. Выглядит это так: лектор представляет материал, в уголке экрана (телефона или компьютера) аватар переводит звуковой рассказ на язык жестов. 

Прежде чем стать двигающимся персонажем на экране, аватар проходит технологию Motion Capture. Иными словами, при помощи специального костюма с датчиками ученые могут записывать жесты человека и переносить их в аватар. Умное «изделие» все это запоминает, а потом выдает на экран в нужной последовательности. Словарь постоянно пополняется.


Работа над технологией началась 25 лет назад в Новосибирске, под руководством ныне профессора Михаила Грифа. 

«К нашей кафедре обратились с просьбой. Задачей было обучить глухих студентов информатике и вычислительной технике до уровня бакалавра. Мы с коллегами столкнулись с тем, что у нас была нехватка переводчиков. Мне пришла идея сделать компьютерный перевод. В 1997 году мы представили первый в мире вариант компьютерного переводчика на международной Сибирской ярмарке», – сообщает Михаил Гриф. 

Следующим изобретением ученых стал «Сурдофон», над которым они работали с 2012 до 2017 года. Компьютерный персонаж «Сурдофона» позволял переводить речь в жесты, но движения переводчика не были похожи на человеческие. Поэтому не передавали все тонкости русского жестового общения. Эту проблему разработчики решили в 2021 году. 

«Адаптис» участвует в разработке, они купили мокап-студию (прим. ред. Motion capture), в свою очередь НГТУ привлек исследователей и экспертов. Они больше по аватару, а мы, НГТУ, по распознаванию жестовой речи», – говорит профессор Гриф. 

В таком партнерстве ученым удалось записать для аватара три тысячи жестов. Но это слишком мало для того, чтобы передать всё многообразие речи. 

«Проблема заключается в многозначных словах и омонимах, аватар может неправильно их показать. Допустим, лисички – это могут быть грибы или животные. Поэтому нам нужно поставить модуль, который будет выявлять лексические значения», – добавляет Михаил Гриф. 

Но для того, чтобы аватар появился в распоряжении любого нуждающегося, нужно решить еще массу технических проблем, а для этого требуются внушительные затраты. Михаил Гриф подмечает, что в будущем НГТУ планирует и другие разработки, которые будут касаться перевода с русского жестового языка. 

Новости партнеров

Сейчас читают

В России и мире

Какие подарки или презенты лучше всего положить под елочку каждому знаку Зодиака
Каких женщин чаще всего выбирают в спутницы успешные мужчины
Слюнки потекут: коронное новогоднее блюдо каждого Знака Зодиака
В США только военные понимают: дело пахнет керосином
7 зимних забав, которые могут привести к печальным последствиям
Какие знаки Зодиака любят все драматизировать
Ретроградный МЕРКУРИЙ с 29 декабря 2022 по 18 января 2023: знаки зодиака, на которые повлияет хуже всего
В каких трех случаях мужчина не должен извиняться перед женщиной
Использование канцелярской резинки для различных бытовых нужд
Что нельзя делать 7 декабря, чтобы в семье не было измен