Тактильный Интернет все больше становится реальностью и украинские компании активно работают в этом направлении. Как в SoftServe воплотили концепцию Mixed Reality, в которой виртуальные объекты можно почувствовать на ощупь? (DOU.ua)
Привет, я Тед Романус, Research Engineer в SoftServe в направлении Human-Сomputer interactions (HCI). Наша группа в R & D работает над новыми технологиями, меняют взаимодействие человека с цифровыми медиа – от виртуальной (Virtual) и добавленной (Augmented) реальности до эффектов соприкосновения (Haptics) и взаимодействия через язык тела и эмоции (Affective computing).
Сегодня я расскажу о нашем проекте Touch My Heart – первую в мире голограмму, к которой можно прикоснуться, которую можно пнуть и которая может передавать такие легкие модуляции как сердцебиение человека. Это демо, которое мы уже представили на нескольких крупнейших конференциях в Великобритании, США, Японии, Испании и Китае. Технология открывает новые возможности более естественных взаимодействий с виртуальными объектами и позволяет уже сейчас чувствовать себя героем Blade Runner.
В этом проекте мы объединили:
- AR-голограмму, которую можно увидеть через очки Magic Leap;
- эффект прикосновения через ультразвуковые волны (Ultrahaptics)
- трекинг рук сенсором Leap Motion;
- биосенсоры.
Как следствие, мы реализовали концепцию Mixed Reality, в которой виртуальные объекты сливаются с реальным миром.
Идея
Все началось с нашего знакомства с технологией Ultrahaptics, которая передает ультразвуковой импульс в определенную точку пространства, создает ощущение, похожее на физическое прикосновение. Николай Максименко, R & D Director в SoftServe, давно знаком с Орестиса Георгиу, Research Director в Ultrahaptics, и несколько раз приглашал его в Украину на конференцию IT Weekend Ukraine и выступить в Украинском католическом университете. Орестис Георгиу согласился на наше приглашение.
Во время общения у нас возникло много общих идей. Поэтому вскоре, в 2018 году SoftServe заключил партнерство с Ultrahaptics. Так мы получили новую версию девайса за полгода до официального релиза.
Сначала изучили, что уже в этой области сделали до нас, ведь есть много других технологий, которые позволяют создать ощущение благодаря передаче тепла или других импульсов. Однако большинство из них работает благодаря вспомогательным устройствам или перчаткам. Технология Ultrahaptics уникальна тем, что она впервые передает импульс непосредственно на кожу человека на расстоянии. Нам надо понять, что нового мы можем сделать, и понять, как использовать технологию, чтобы она была полезна нашим клиентам. Параллельно экспериментировали с самой технологией – смотрели, как смешивать импульсы и давать разные ощущения, проверяли, можно как-то их объединить и удастся ли предоставить импульсам определенной формы.
Следующий этап – генерация идей – мы брейнштормилы всей R & D-командой. Появлялись разные мнения – от игрушек до чего-то серьезного. Наконец, решили сделать проект, который не только раскроет потенциал этой технологии, а и может вызывать эмоции в аудитории, которой мы будем демонстрировать это демо на различных событиях. Так родилась идея воссоздать сердце, что бьется.
В более широком контексте эту технологию можно будет использовать как элемент управления, когда нужно ограничить физический контактах (например, в медицине), или как новый рекламный инструмент, выводит взаимодействие с аудиторией на новый уровень, или же в телемедицине, когда врач на расстоянии видит своего пациента и может почувствовать, как бьется его сердце.
Работа над проектом
Сначала я разрабатывал проект (писал код, тестировал) под очки Meta, консультируясь с другими R & D-специалистами. В подобных исследовательских проектах нет четкого понимания, получится ли реализовать задуманное, поэтому мы постепенно решали отдельные технические проблемы и расширяли кейс.
К отдельным задачам привлекались другие инженеры. Например, адаптировали технологию к другим AR-очкам или улучшали 3D-модель R&D-инженер и дизайнер из нашей команды.
Сначала мы должны были понять, как именно воссоздать прикосновение – какие точки на руках стимулировать, каким образом, с какой интенсивностью и с какой частотой. Моя первоначальная задача состояла в том, чтобы очень быстро (в пределах нескольких недель) сделать прототип и показать, в каком направлении мы движемся и имеет ли это все смысл. Это стандартный ресерч-процесс в R&D. Когда это удалось, можно было двигаться дальше.
В комплекте с устройством Ultrahaptics идет SDK для разработки под Windows/Mac. Используя его, мы смогли вывести анимацию сердца на экран компьютера и создать ощущение прикосновения в пространстве, то есть человек мог физически чувствовать то, что видит на экране компьютера.
Мы пошли дальше и дополнительно использовали очки Magic Leap, в которых разработали виртуальную модель сердца (такую же, которая отображается на экране компьютера). Чтобы пользователь мог видеть сердце через Magic Leap и одновременно касаться его через ультразвуковые волны, генерируемые Ultrahaptics, надо было совместить системы координат этих двух устройств. Это уже был значительный шаг вперед в использовании технологии Haptic Feedback – дополненную реальность теперь можно было почувствовать физически.
Мы решили не останавливаться и поставили себе следующую цель – сделать так, чтобы сердце казалось живым. Для этого надо было создать колебания интенсивности импульсов, которые передаются на кожу. За основу взяли STM_Circle (один из скриптов, которые идут вместе с Ultrahaptics SDK). Именно ощущение состоит из точек, которые бегают по кругу радиусом 3 см с частотой 100 Гц (учитывая задержку обработки сигналов человеческим мозгом, оно воспринимается как целый круг). Чтобы получить сердцебиение на базе этого статического ощущение, мы предложили два подхода:
- изменение интенсивности импульса в соответствии с нормализованной силой данных о сердцебиении, которую получают из часов Apple Watch или MAWI;
- изменение радиуса круга синхронно с сердцебиением.
Наконец для яркой демонстрации мы взяли не какие-то статистические данные, а воссоздали ритм сердцебиения реального человека. Для этого я использовал Apple Watch, подходит также часы украинского бренда MAWI, которые позволяют не только измерять пульс (PPG), а и снимать кардиограмму (ECG). Исследования показывают, что Apple Watch измеряет пульс самым точным образом в сравнении со всеми доступными на рынке фитнес-трекерами. MAWI практически меряет кардиограмму, в которой гораздо больше данных, чем в PPG (исследования ). Используя такой метод, пульс определяем точно (именно с этим методом сравнивают все остальные).
Разработку вели в среде Unity, поскольку я имею больше опыта работы с ней и в ней можно быстро прототипировать. А когда PoC было готово, решили не переписывать на другие платформы, а продолжить с Unity. Во время работы использовали такие библиотеки:
- OpenCV выбрали именно потому, что на всех новых платформах популярные image tracking фреймворки НЕ имеют имплементации, и мы НЕ имеем доступа к параметрам камер. А в OpenCV есть методы, с которыми можно провести 3D-реконструкцию (то есть распознать простые паттерны в 3D) на любых камерах. Недавно в Magic Leap SDK добавили свою имплементацию распознавания изображений, и мы переписали все на нее.
- Ultrahaptics plugin, Leap motion plugin, Lumin SDK для интеграции очков Magic Leap с Unity3D – нужные вещи для работы, не имеющие аналогов.
- http-сервер для передачи данных о сердцебиении – простой и кроссплатформенный способ для передачи информации.
Интересно, что интеграция данных с биосенсоров, таких как дыхание, сердцебиение или температура, – очень горячая тема для исследований, потому дает возможность создать близкое взаимодействие между разными людьми. Мы действительно видим этот эффект во время демонстраций нашего проекта.
Мы поделились результатом с Орестиса и оказалось, что таких решений в мире еще нет, кроме видеоконцепта Ultrahaptics и дизайн-студии Nike. Поэтому уже вместе с Ultrahaptics мы написали несколько материалов для конференций о human-computer interaction.
С технической точки зрения этот проект – на самом деле 3 отдельные программы (для ноутбука, для Magic Leap для Apple Watch), которые надо запустить и протестировать. Библиотеки, которые мы использовали, имели весьма скромную документацию, на StackOverflow вообще пусто (в последнее время для Magic Leap эта ситуация исправилась, для Ultrahaptics до сих пор ничего загуглить не получится). Чтобы правильно лпределять все системы координат, преобразования и т.д., надо было еще разобраться в линейной алгебре и математике 3D-преобразований, что тоже отняло много времени.
Перспективы
Первые версии демо Touch My Heart мы показывали на маркетинговых стендах, чтобы увидеть реакцию людей и, соответственно, усовершенствовать проект. Люди очень эмоционально реагируют на такой новый способ взаимодействия, чаще всего, это эмоции восхищения и удивления. В этом году мы представили ее на нескольких специализированных международных конференциях по Human-Computer Interaction, в частности на CHI2019 в Глазго и World Haptics Conference в Токио, где получили положительный фидбэк по новизне нашей идеи и реализации. В частности, наше демо в Японии заметил даже основатель Magic Leap Рони Абовиц, а на Augmented World Expo мы попали в финал Auggie Awards в номинации Best Interactive Software.
Теперь мы работаем над несколькими новыми идеями, которые будут иметь практическое значение, но в то же время будут интересными с точки зрения новизны в HCI.
В целом эта технология имеет потенциал для практического применения в следующих направлениях:
- Хирургия – расширит возможности проведения дистанционных консультаций, поможет уменьшить риск возникновения осложнений и повысить точность проведения реконструктивного оперативного вмешательства.
- Реабилитация – комбинация визуального и тактильного типа информации поможет ускорить и улучшить качество процесса реабилитации.
- Новый уровень тактильной взаимодействия – возможность прикоснуться к тому, что далеко, может широко использоваться в коммерческой, рекламной отрасли; выводит на новый уровень коммуникацию между людьми, когда можно почувствовать прикосновение на расстоянии.
- Управление автомобилем – распознавание жестов (вместо использовать тачскрин и кнопки) для управления приборами, размещенными в салоне автомобиля, поможет сконцентрировать на дороге.
Источник: DOU.UA
