Технологии будущего

Станет ли когда-нибудь приложение для перевода на язык жестов реальностью?

Станет ли когда-нибудь приложение для перевода на язык жестов реальностью?

Представьте себе мир, где барьеры между глухим и слухом исчезли. Мир, где разговоры текут среди тех, кто слышит звук, и тех, кто не слышит. Может ли этот мир стать реальностью в ближайшем будущем?

Еще в июне группа студентов-маркетологов в Berghs School of Communication разработала концептуальное видео для вымышленного продукта под названием Google Gesture. Продукт включал в себя носимый браслет и мобильное приложение, которое использовало электромиографию для считывания движений мышц глухого человека, делающего язык жестов. Затем система передавала эти сигналы в приложение, которое переводило эти сигналы в оцифрованный голос и говорило от лица.

Смотреть фальшивое маркетинговое видео было довольно увлекательно. Фактически настолько захватывающим, что крупные технические сайты, такие как Mashable, Slashgear и другие, первоначально объявили продукт реальным, а затем пришлось пересчитать претензию и извиниться за свою ошибку. Это была странная ошибка, учитывая, что действительно существует продукт Google под названием Google Gesture Search [Больше не доступен], который позволяет рисовать жесты на экране мобильного телефона для поиска контактов, закладок и многого другого.

Несмотря на это, концепция студентов Берга представила замечательную идею, которая привела к вопросу — возможно ли создать такое приложение по-настоящему?

Возможен ли перевод на язык жестов?

Анализ маркетинговой концепции на техническом уровне показывает, что технология, использующая электромиографию (ЭМГ) для «восприятия» языка жестов, на самом деле не так уж и далека. Еще в 2009 году исследователи из Вашингтонского университета смогли использовать несколько датчиков EMG для декодирования мышечных движений и преобразования их в настоящие жесты руки и кисти.

Исследователи фактически создали полную «библиотеку распознавания жестов», определяющую, какие мышечные сигналы представляют какой жест. Исследование доказывает, что этот вид технологии доступен и готов к внедрению в приложениях, предусмотренных студентами Берга.

Так кто-нибудь на самом деле достиг этого? Если нет, то почему никто этого не делает и не предоставляет глухим и слабослышащим людям возможность общаться с кем-либо в мире с помощью языка жестов?

Будущее технологий перевода в реальном времени

Правда в том, что кто-то на самом деле работает над такой технологией перевода языка жестов в реальном времени.

Знак-language1

Существует компания под названием SpeechTrans [Broken URL Removed], которая раздвигает границы технологий перевода. в последние годы. SpeechTrans работает с технологическими партнерами, чтобы производить некоторые из самых замечательных услуг языкового перевода в реальном времени на рынке сегодня. Это сервисы, которые переводят текстовый чат в текстовый чат, голос в текст и даже в режиме реального времени голосовой перевод с помощью мобильных телефонов и настольных приложений.

Чтобы выяснить, может ли технология жестового языка стать реальностью в ближайшем будущем, встретился с генеральным директором SpeechTrans Джоном Фреем и главным операционным директором Яном Ауэрбахом, чтобы обсудить эту революционную новую технологию перевода. и насколько далеко это может быть в будущем.

Разработка приложения для перевода на язык жестов

MUO: Возможно ли сделать перевод с языка жестов на речь, который студенты Берга изобразили в этом видео о концепции Google Gesture?

Джон Фрей - генеральный директор SpeechTrans

Джон : Я бы сказал, что технология доступна для разработки. В настоящее время мы работаем с Microsoft и Intel над изучением некоторых технологий, которые они предлагают, с точки зрения аппаратного и программного обеспечения. Мы предполагаем возможность использовать эту технологию для распознавания языка жестов, а затем преобразовать его в речевой и аудио выход.

MUO : Вы сейчас активно работаете над развитием этой технологии?

Ян : Итак, был клиент, который использовал наше программное обеспечение, и подумал, что было бы замечательно, если бы мы могли изменить его так, чтобы люди с нарушениями слуха могли использовать его для совершения телефонных звонков из нашего приложения, для общения без необходимости язык жестов, когда они лично, или без необходимости услуги типа TTY для телефонных звонков. Мы разработали этот продукт и при финансовой поддержке Microsoft и Intel запустили SpeechTrans для слабослышащих в Windows 8.1, что устраняет необходимость в языке жестов.

MUO : Как работает приложение «лично»?

Ян : Есть режим прослушивания, и есть режим ввода. Итак, когда кто-то говорит с вами, вы включаете режим прослушивания, и он печатает все, что они говорят, на экране в тексте. Затем, когда вы отвечаете в ответ, вы печатаете его, а затем он говорит вслух, что вы печатаете. С помощью телефона вы просто набираете номер телефона любого человека, и когда он отвечает на звонок, он становится мгновенным сообщением. Что бы они ни говорили, вы получаете в качестве мгновенного сообщения. Затем все, что вы печатаете, произносится вслух по телефону. Это первый этап.

Ближайшее будущее

MUO : Какие технологии люди ожидают увидеть в ближайшем будущем? Какой следующий этап?

Джон : Мы предполагаем — для того, кто имеет возможность использовать только язык жестов, — сделать это перед устройством, таким как телефон, компьютер или ноутбук. У Intel есть новая система камер, а у Microsoft — Kinect, которая распознает жесты.

MUO : Как это лучше, чем концепция повязки на руку, предложенная студентами Берга?

Знак-language3

Ян : По сути, наша работа будет работать так, что вам не нужно ничего класть на руку. Он распознает 64 очка на вашей руке. Мы используем бета-версию камеры Intel RealSense. Таким образом, мы не только сможем распознавать весь язык жестов и множество различных диалектов языка жестов, но мы также сможем распознавать эмоции, выражения лица и другие мелкие нюансы, а затем преобразовывать их в произнесенные слова. ,

Это не потребует от вас носить какие-либо перчатки или что-нибудь. Мы ориентируемся на этот рынок именно потому, что нам просто нравится помогать людям в целом. Мы хотим не только помогать людям, которые хотят говорить на разных языках, но мы также хотим помогать людям, которые не говорят ни на одном языке. Технология существует, и нет причин, по которым качество их жизни должно отличаться от нашего.

Джон : Это осуществимая концепция. Это просто другой вход и выход. Некоторые из разговоров, которые мы провели с Microsoft о некоторых будущих технологиях, — это то, где кто-то может на самом деле имплантировать микрочип в шею, и он прямо читает их мозговые волны. Так что, если вы помогаете людям, которые не могут общаться, мы бы увидели нечто подобное в развертывании третьей фазы.

В прошлом году была группа студентов, которые выпустили рабочий прототип перчатки, которая была подключена к компьютеру. Жесты, которые вы делали с перчаткой, будут затем распознаваться и преобразовываться в язык жестов. Таким образом, они уже имеют возможности с современной технологией.

Наше видение заключается в том, что мы не хотим создавать аксессуары, такие как повязки, которые вы должны надеть. Для них [людей, делающих язык жестов) должно быть естественным и свободным делать это перед своей видеокамерой. 90% того, что люди говорят в общении, на самом деле на языке их тела. Будучи в состоянии получить доступ к распознаванию лиц, жестам и эмоциям, мы также сможем использовать эти данные, чтобы убедиться, что перевод и то, что они пытаются передать, выражены в правильной форме.

MUO : Intel в течение 5 лет будет использовать эту технологию распознавания языка жестов?

Джон : У Intel определенно есть много доступных ресурсов. Их технологии и программное обеспечение развиваются такими темпами, что мы можем сделать это довольно быстро.

MUO : Есть ли у вас временные рамки, когда вы надеетесь вывести эту технологию на рынок?

Джон : Для языка жестов это примерно от 12 до 18 месяцев.

МУО : У кого-нибудь еще есть что-то подобное для перевода на язык жестов?

Джон : Я видел видео на YouTube, где IBM делал прототип, где кто-то делал язык жестов, но это было доказательством концепции, и в нем было всего три или четыре слова, которые он узнал. У нас есть более пятисот тысяч слов, которые мы планируем выпустить, поэтому он поднимется на совершенно другой уровень.

Вывод

Хотя видение, которое придумали студенты в Бергсе, может и не стать приложением для перевода на язык жестов в будущем, это не означает, что такой концепции не произойдет. Работа, проделанная в SpeechTran, Intel и Microsoft, доказывает, что перевод на язык жестов почти наверняка станет настоящей технологией всего через несколько лет. Скорее всего, он не будет включать громоздкие повязки, а вместо этого — не что иное, как специальную видеокамеру и мобильное приложение.

Благодаря волшебству жестов и распознавания лиц, это приложение будущего для перевода на язык жестов обещает полностью революционизировать межличностные коммуникации для сотен тысяч людей с нарушениями слуха. или слабослышащие люди по всему миру.

Похожие посты
Технологии будущего

Почему мой автомобильный аккумулятор продолжает умирать?

Технологии будущего

Диагностика разряженной автомобильной батареи

Технологии будущего

Apple TV против Року

Технологии будущего

Что делать, когда датчики в вашем автомобиле не работают