В среду утром Microsoft продемонстрировала проект, над которым они работали в течение семи лет, — гарнитуру дополненной реальности под названием Project HoloLens .
Это амбициозное видение: они хотят коренным образом изменить способ взаимодействия людей с компьютерами, создав пару очков, которые могут плавно смешивать виртуальный и реальный контент в физическом пространстве пользователя. Это похоже на технологию виртуальной реальности. технология , но принципиально более мощный. Кроме того, они хотят выполнять всю обработку локально на очках — ни компьютера, ни телефона, ни кабелей. Они даже запускают специальную версию Windows только для нового оборудования. Это следующий этап технологической эволюции для всех этих AR-игр. Вы установили на свой телефон один раз и с тех пор не трогали.
Их сроки еще более амбициозны, чем их цели: они хотят поставлять комплекты для разработчиков этой весной, а также потребительский продукт «в течение периода Windows 10». Вот поле
Все это звучит замечательно, но я допускаю довольно высокую степень скептицизма.
Технологии, которые использует Microsoft, имеют серьезные, фундаментальные проблемы, и до сих пор Microsoft очень молчаливо о том, как (или если) они решили их. Если они не решили их, то их цель доставки в течение года очень важна. Последнее, что нужно VR и AR, — это большая компания, поставляющая еще один полусгоревший продукт, такой как Kinect. Помните демо Project Natal с 2009 года?
Без лишних слов, вот пять самых важных вещей, которые я хотел бы знать о HoloLens.
Это дисплей светлого поля?
Чтобы понять это, нам нужно немного глубже изучить 3D и то, как оно работает. Чтобы получить представление о реальном, осязаемом трехмерном мире, наш мозг объединяет много разных видов информации. Мы получаем глубинные подсказки о мире тремя основными способами:
- Глубина стерео — несоответствие между тем, что видят оба наших глаза. Фальсификация, как работают 3D фильмы
- Параллакс движения — тонкие движения нашей головы и туловища дают нам дополнительные сигналы глубины для объектов, которые находятся дальше
- Оптическая фокусировка — когда мы фокусируемся на чем-то, линзы наших глаз физически деформируются, пока они не фокусируются; объекты ближнего поля требуют большего искажения линзы, что дает информацию о глубине того, на что мы смотрим
Оптический фокус легко проверить самостоятельно: закройте один глаз и поднесите большой палец к стене напротив комнаты. Затем переместите фокус с эскиза на поверхность позади него. Когда вы смотрите мимо большого пальца, ваш большой палец смещается из-за фокуса, потому что хрусталик вашего глаза теперь менее деформирован и не может правильно собирать исходящий от него свет.
VR-гарнитуры, такие как Oculus Rift, обеспечивают чрезвычайно точные первые два сигнала, но не последние, что работает на удивление хорошо: наши глаза по умолчанию полностью расслабляются, поскольку оптика фокусирует изображения, как сквозь свет, исходящий из бесконечно далекого расстояния. Отсутствие оптического фокуса нереально, но обычно это не отвлекает. У вас по-прежнему могут быть очень крутые игровые возможности. игровых без него.
В дополненной реальности проблема другая, потому что вы должны смешивать свет от реальных и виртуальных объектов. Свет от реального мира, естественно, будет сфокусирован на самых разных глубинах. Однако виртуальный контент будет сфокусирован на фиксированном искусственном расстоянии, определяемом оптикой — возможно, на бесконечности. Виртуальные объекты не будут выглядеть так, будто они действительно являются частью сцены. Они будут не в фокусе, когда вы смотрите на реальные вещи с той же глубины и наоборот. Невозможно плавно перемещать глаз по сцене, удерживая его в фокусе, как вы это обычно делаете. Противоречивые сигналы глубины будут в лучшем случае запутанными, а в худшем — отвратительными.
Чтобы это исправить, вам нужно нечто, называемое дисплеем в светлом поле. Дисплеи светового поля — это дисплеи, которые используют массив крошечных линз для одновременного отображения света, сфокусированного на многих глубинах. Это позволяет пользователю естественным образом сосредоточиться на дисплее и (для дополненной реальности) решает проблему, описанную выше.
Однако существует проблема: световое поле отображает, по существу, карту одного 2D-экрана на трехмерное световое поле, что означает, что каждый «пиксель глубины», который воспринимает пользователь (и существует на определенной глубине фокусировки в сцене), на самом деле состоит из света от многих пикселей на оригинальном дисплее. Чем мельче будет глубина, которую вы хотите изобразить, тем больше разрешения вы должны будете оставить.
Как правило, световые поля имеют примерно восьмикратное уменьшение разрешения, чтобы обеспечить достаточную точность глубины. Лучшие микродисплеи имеют разрешение около 1080p. Если предположить, что на каждом глазу движется один высококачественный микродисплей, то фактическое разрешение гарнитуры Microsoft составляет всего около 500 x 500 пикселей на глаз, что даже меньше, чем у Oculus Rift DK1. Если дисплей имеет высокое поле зрения, виртуальные объекты будут непонятными пятнами пикселей. Если этого не произойдет, погружение пострадает пропорционально. На самом деле мы никогда не видим сквозь объектив (только воссоздание компьютером того, что видит пользователь), поэтому мы понятия не имеем, на что действительно похож пользовательский опыт.
Возможно, что Microsoft придумала какое-то новое решение этой проблемы, чтобы разрешить использование дисплея в светлых полях без компромисса с разрешением. Тем не менее, Microsoft очень осторожно относится к их технологии отображения, что заставляет меня подозревать, что нет. Вот лучшее объяснение, которое мы получили до сих пор (из демонстрации WIRED ).
Для создания изображений Project HoloLens легкие частицы отскакивают миллионы раз в так называемом световом движке устройства. Затем фотоны попадают в две линзы очков, где они рикошетят между слоями синего, зеленого и красного стекла, прежде чем достигнут задней части вашего глаза.
Такое описание технологии может означать практически что угодно (хотя, по справедливости для Microsoft, аппаратное обеспечение действительно впечатляет WIRED, хотя в статье было мало деталей).
Мы не будем знать больше наверняка, пока Microsoft не начнет выпускать технические спецификации, возможно, через несколько месяцев. На еще одной ноте выбора гниды, действительно ли необходимо утопить проект в этом большом маркетинговом разговоре? Выделенный процессор, который они используют для отслеживания головы, называется «голографическим процессором», а изображения называются «голограммами» без особой причины. Продукт достаточно крутой, так что на самом деле не нужно его так украшать.
Достаточно ли хорошего отслеживания?
На гарнитуре Project HoloLens установлена камера с большой глубиной обзора (например, Kinect), которую он использует, чтобы выяснить, где находится гарнитура в пространстве (пытаясь выровнять изображение глубины, которое она видит, с моделью мира, составленной из него). из прошлых изображений глубины). Вот их живая демонстрация гарнитуры в действии.
Отслеживание впечатляет, учитывая, что в нем не используются маркеры или другие читы, но даже в этом видео (при жестко контролируемых условиях) вы можете увидеть определенное колебание: отслеживание не является полностью стабильным. Этого и следовало ожидать: такое отслеживание наизнанку чрезвычайно сложно.
Тем не менее, большой урок из различных прототипов Oculus Rift : точность отслеживания очень важна. Отслеживание джиттеров просто раздражает, когда несколько объектов в основном стабильном реальном мире, но в таких сценах, как демонстрация Mars, которые они показали в своем концептуальном видео, где почти все, что вы видите, является виртуальным, неточное отслеживание может привести к отсутствию « присутствие »в виртуальной сцене или даже симулятор болезни. Может ли Microsoft довести отслеживание до стандарта, установленного Oculus (точность отслеживания менее миллиметра и общая задержка менее 20 мс), к дате их отправки в конце этого года?
Вот Майкл Абраш, исследователь VR, работавший на Valve и Oculus, рассказывающий о проблеме
[Поскольку создание виртуальных изображений всегда задерживается, […] очень трудно заставить виртуальные и реальные изображения регистрироваться достаточно близко, чтобы глаз не заметил. Например, предположим, что у вас есть настоящая банка кока-колы, которую вы хотите превратить в банку AR Pepsi, нарисовав логотип Pepsi поверх логотипа кока-колы. Если для перерисовки логотипа Pepsi требуются десятки миллисекунд, каждый раз, когда вы поворачиваете голову, создается впечатление, что логотип Pepsi будет смещаться на несколько градусов относительно банки, и часть логотипа Coke станет видимой; тогда логотип Pepsi вернется в нужное место, когда вы перестанете двигаться. Это явно недостаточно для жесткого AR
Может ли дисплей рисовать черным?
Другая проблема, помимо глубины фокусировки и отслеживания, связана с рисованием темных цветов. Добавить больше света к сцене относительно просто, используя светоделители. Убрать свет намного сложнее. Как вы выборочно затемняете части реального мира? Установка избирательно прозрачного ЖК-экрана не обрежет его, поскольку он не всегда может быть в правильном фокусе, чтобы блокировать то, на что вы смотрите. Оптических инструментов для решения этой проблемы, если Microsoft не изобрела их тайно, просто не существует.
Это важно, потому что для многих приложений, которые Microsoft демонстрирует (например, для просмотра Netflix на вашей стене), гарнитуре действительно нужна возможность убирать свет, исходящий от стены, иначе ваш фильм всегда будет иметь наложение видимого штукатурного рисунка. с этим: для изображений будет невозможно заблокировать реальные объекты в сцене, делая использование гарнитуры в значительной степени зависимым от условий окружающего освещения. Вернемся к Майклу Абрашу:
[S] o В промышленности или литературе AR ничего подобного не всплывало, и до тех пор, пока и до тех пор, пока это не произойдет, тяжелая AR в том смысле SF, который мы все знаем и любим, не может произойти, кроме как в почти темноте.
Это не означает, что AR находится вне стола, просто на некоторое время это будет мягкий AR, основанный на аддитивном смешивании […] Опять же, думайте, что он полупрозрачный, как «Охотники за привидениями». Высокоинтенсивные виртуальные изображения без темных областей будут также работают, особенно с помощью регионального или глобального потемнения — они просто не будут выглядеть как часть реального мира.
Как насчет окклюзии?
«Окклюзия» — это термин, обозначающий то, что происходит, когда один объект проходит перед другим и мешает вам увидеть, что за этим стоит. Чтобы виртуальные пейзажи ощущались как осязаемая часть мира, реальным объектам важно перекрывать виртуальные объекты: если вы держите руку перед куском виртуального изображения, вы не сможете увидеть его насквозь. твоя рука. Из-за использования камеры глубины на гарнитуре, это действительно возможно. Но посмотрите демо снова:
По большому счету, они тщательно контролируют углы камеры, чтобы избежать реальных объектов, проходящих перед виртуальными. Однако, когда демонстратор взаимодействует с меню Windows, вы можете видеть, что его рука совсем не закрывает его. Если это недоступно их технологиям, это очень плохой знак для жизнеспособности их потребительского продукта.
И если говорить об этом пользовательском интерфейсе …
Это действительно финальный интерфейс?
Интерфейс, демонстрируемый Microsoft в их демонстрационных видеороликах, кажется, работает с использованием некоторой комбинации отслеживания взгляда и руки для управления курсором в виртуальной сцене, а также с помощью голосовых элементов управления для выбора между различными вариантами. У этого есть два основных недостатка: он делает вас похожим на маленького ребенка из «Сияющего», который разговаривает с ним пальцем, но, что более важно, он также представляет принципиально некорректную модель дизайна.
Исторически лучшими пользовательскими интерфейсами были те, которые привносят физическую интуицию о мире в виртуальный мир. Мышь принесла щелчок, перетаскивание и окна. Сенсорный интерфейс принес прокрутки для прокрутки и масштабирования. Оба из них имели решающее значение для того, чтобы сделать компьютеры более доступными и полезными для широких слоев населения — потому что они были в основном более интуитивно понятными, чем то, что было раньше.
VR и AR дают вам гораздо больше свободы как дизайнеру: вы можете размещать элементы пользовательского интерфейса в любом месте 3D-пространства, и пользователи могут взаимодействовать с ними естественным образом, как если бы они были физическими объектами. Огромное количество очевидных метафор напрашиваются сами собой. Коснитесь виртуального элемента пользовательского интерфейса, чтобы выбрать его. Зажмите его, поднимите и переместите. Сдвиньте его, чтобы временно сохранить. Сокрушите это, чтобы удалить это. Вы можете представить себе настолько интуитивно понятный пользовательский интерфейс, который не требует объяснений. То, что ваша бабушка может мгновенно подхватить, потому что оно основано на фундаментальной физической интуиции, которую каждый накапливает в течение всей жизни, взаимодействуя с миром. Найдите минутку и послушайте, как этот умный человек описывает, какими могут быть интерфейсы с эффектом погружения.
Другими словами, мне кажется очевидным, что иммерсивный пользовательский интерфейс должен быть по крайней мере таким же интуитивно понятным, как сенсорные интерфейсы, впервые появившиеся в iPhone для 2D мультитач-экранов. Создание интерфейса вокруг манипулирования «мышью» виртуальной реальности — это шаг назад, и оно демонстрирует либо глубокие технологические недостатки в технологии отслеживания рук, либо фундаментальное недопонимание того, что интересно в этой новой среде. В любом случае, это очень плохой признак того, что этот продукт — нечто большее, чем колоссальный флоп Kinect.
Надеемся, что у Microsoft есть время, чтобы получить отзывы об этом и сделать лучшую работу. В качестве примера, вот интерфейс, разработанный одним из любителей для Oculus Rift DK2 и Leap Motion. Иммерсивный пользовательский интерфейс, разработанный крупной компанией, должен быть как минимум таким хорошим.
Знак грядущих событий
В целом я крайне скептически отношусь к проекту HoloLens в целом. Я очень рад, что компания с ресурсами Microsoft исследует эту проблему, но я обеспокоен тем, что они пытаются выпустить продукт, не решая некоторые важные технические проблемы или прибегая к хорошей парадигме пользовательского интерфейса. HoloLens — это знак грядущих событий, но это не значит, что сам продукт будет приносить хороший опыт потребителям.
Image Credit: предоставлено Microsoft