Русский дополненной реальности: как выпускник МАИ стал визионером Google

Иван Пупырев изобретает технологии, опережающие время. У Sony благодаря ему был шанс первыми вывести на рынок смартфон, но тогда его идея показалась японцам слишком радикальной. Сегодня Пупырев изобретает в Google

Фото: Моника Дубинкайте для РБК

Весной 1994 года профессор японского Университета Хиросимы Тадао Ичикава получил письмо от 26-летнего выпускника Московского авиационного института (МАИ) Ивана Пупырева. Молодой инженер писал, что прочитал статью профессора о технологии виртуальной реальности (virtual reality; VR) и хотел бы учиться у него. В сентябре он получил стипендию университета и уехал в Хиросиму за степенью доктора.

Такие же письма с разницей в именах и названиях статей от проворного молодого ученого получили тогда несколько десятков профессоров американских, британских и японских вузов. Шаблон для Пупырева составил друг из МГИМО: сам он плохо знал английский. «Начало 1990-х годов для молодых людей — времена высокого риска, — рассказывает Иван Пупырев в интервью журналу РБК. — Была растерянность: что делать дальше? Потому что все планы, которые ты делал, они пошли… в другом направлении».

Одноклассники и однокурсники инженера становились депутатами, бандитами, банкирами, эмигрировали или уезжали в Индию искать себя. Сам он выбирал между наукой и бизнесом. Но коммерция в те времена выглядела как «выйти на международный рынок и что-нибудь там продать — вот и бизнес-план», и молодой инженер предпочел путь ученого. Уехать учиться за границу оказалось просто: японский университет не требовал сдавать даже экзамен по английскому.

Спустя два десятилетия Пупырев читает публичные лекции об интерактивном дизайне по всему миру — в Стэнфорде, Принстоне, Токийском университете. В конце мая 2017-го в Москве выступал на фестивале «Политех». Пупырев все время смеется, говорит громко, увлеченно и порывисто, перемежая русские слова английскими и часто проглатывая окончания. За 23 года жизни за рубежом сын советских физиков выучил не только английский, но и японский язык и прошел путь от стажера в маленькой исследовательской лаборатории до изобретателя в Google.

Студент-кочевник

Переезд в Хиросиму в 1994-м не оправдал надежд Пупырева: университет оказался «довольно провинциальным», без подходящей научной среды. Сам он стал единственным студентом, интересующимся VR. Поэтому почти сразу россиянин достал все тот же шаблон письма и «разослал его в кучу мест, чтобы уехать на стажировку куда-нибудь, где можно заниматься виртуальной реальностью». Легкое отношение к жизни вновь помогло: на этот раз его резюме заметила Сьюзан Вегхост, сотрудница известной лаборатории HITLab (Human Interface Technology Laboratory) в Университете Вашингтона. В 1995 году Пупырев переехал в Сиэтл.

Лаборатория как раз получила грант от Управления перспективных исследовательских проектов Минобороны США на изучение, как технологии дополненной реальности (augmented reality; AR) могут быть использованы при медицинской помощи на поле боя. У Пупырева был подходящий для подобных исследований опыт: в Москве он работал в Институте сердечно-сосудистой хирургии им. А.Н. Бакулева — в лаборатории математического моделирования разрабатывал системы прогнозирования, которые в режиме реального времени определяли состояние больного во время операций на открытом сердце. В HITLab хотели сделать AR-дисплей с информацией для врачей во время операции, но эта технология была не развита, поэтому прототип был в VR.

Через три года Пупырев вернулся в Японию дописывать диссертацию и продолжил совместные исследования с коллегами из HITLab, сосредоточившись на AR. Всплеску популярности этой технологии, которая позволяет встраивать виртуальные объекты в реальный мир, в конце 1990-х годов способствовали распространение персональных компьютеров и появление интернета, объясняет директор ARena Space Василий Рыжонков.

Пупырев признается: его всегда интересовала «грань между виртуальным и физическим», он раздумывал, как соединить эти две вещи и какие точки пересечения существуют. Вместе с учеными из HITLab Хироказу Като и Марком Биллингхерстом русский инженер стал работать над ARToolkit — открытым ПО, которое позволяет любому человеку самостоятельно конструировать объекты дополненной реальности.

Фото: Моника Дубинкайте для РБК

Разработкой софта руководил Като, Пупырев создавал приложения на основе ARToolkit, уточнил Биллингхерст в переписке с корреспондентом журнала РБК. Например, Пупырев разработал MagicBook — программа позволяла добавлять виртуальные картинки на страницы книги при наведении камеры на них. Като в разговоре с журналом РБК уточняет, что Пупырев в работе над ARToolkit отвечал за концептуальный дизайн и исследовательскую часть, а также координировал участников разработки со всего мира.

И Биллингхерст, и Като с удовольствием вспоминают совместную работу с Пупыревым. «У него были уникальные идеи и сильные лидерские качества. Все мы наслаждались работой с ним», — вспоминает Като. Биллингхерст называет Пупырева одним из самых талантливых интерактивных дизайнеров: «Думаю, главное, что его отличало, — это способность мыслить инновационно и готовность рисковать». Като также говорит, что уже тогда Пупырев был «большим оптимистом» с безусловной верой в успех своих изысканий. «Еще он умел очень много пить, но, должно быть, для русского это обычная история», — добавляет он.

Выпущенный в 1999 году ARToolkit стал первым открытым софтом для разработки приложений дополненной реальности: до этого момента соответствующие программы работали только в специализированных исследовательских лабораториях, писали авторы книги «Дополненная реальность: принципы и практика». На волне интернет-бума конца 1990‑х — начала 2000-х годов Пупырев с коллегами решили создать стартап для коммерциализации своих разработок на основе ARToolkit. Бизнес-планы того времени напоминали ему российский бизнес десятилетней давности, без четких целей и расчетов — «выйти в цифровой мир и что-нибудь там продать».

Ученый и его коллеги нашли инвесторов из Саудовской Аравии, но планы партнеров разрушил кризис доткомов. Биллингхерст и Като позже все же смогли основать свою компанию и заработать деньги на софте: в 2001 году они создали фирму ARToolworks, в 2015-м продали ее другой AR-компании — DAQRI (сумма сделки не раскрывалась). А Пупырев уже не пытался стать бизнесменом.

Еще год он проработал в Киото, в государственной лаборатории ATR (Advanced Telecommunications Research Institute International), где, в частности, занимался исследованиями с крупными компаниями: например, по заказу Airbus команда Пупырева изучала, как использовать AR для проектирования панелей внутри истребителей Eurofighter.

«Я решил завязать с VR и AR. Мне показалось, что это было слишком рано: графика слабая, нет мощных компьютеров, смартфонов тогда не существовало», — вспоминает Иван Пупырев. Тогда его увлекла новая масштабная идея.

В шаге от iPhone

Будущее — за маленькими устройствами, которые человек будет держать в руках, уверился Пупырев. Веру подкрепляла статистика: продажи мобильных телефонов росли на десятки процентов в год (по данным Gartner, +63% в 1998-м, +68% в 1999-м, +41% в 2000-м).

Новым пристанищем для разработок Пупырева стал производитель электроники Sony, точнее — исследовательская лаборатория корпорации в Японии Computer Science Laboratory (CSL). В отличие от предыдущих мест работы для карьерного роста в Sony Пупыреву необходимо было создавать коммерческие продукты.

Почти сразу он взялся за создание сенсорных экранов: уже тогда инженер был уверен, что тачскрины заменят кнопки на телефонах. Пупырев, по его словам, даже предлагал коллегам выпустить мобильный телефон с сенсорным дисплеем, но получил отказ от менеджеров по продукту: «Сказали, что без кнопок плохо: ты не чувствуешь, что нажимаешь». Представители Sony не ответили на вопросы журнала РБК.

Ученый нашел компромиссный вариант: он решил создать аналог кнопок, но на тачскрине — интерфейс давал ощущение клика при нажатии на дисплей. Идея была реализована: Sony выпустила пульты управления для телевизоров и другой домашней электроники с этой разработкой. Первый продукт появился на американском рынке в 2002-м — правда, сенсорный экран на нем был продублирован привычными кнопками. Следующим шагом в научно-инженерных изысканиях Пупырева стала попытка создания гибкого дисплея.

В 2004 году ученый и его коллеги из Sony Карстен Швезиг и Эйджиро Мори представили проект под названием Gummi — дисплей размером с кредитную карту, на котором для перемещения объектов пользователь может водить пальцем не по лицевой поверхности, как в современных смартфонах, а по оборотной стороне устройства. В Gummi Пупырев отвечал за научную и технологическую части, пояснил Швезиг журналу РБК. Гибкий дисплей не стал самостоятельным коммерческим продуктом, но был успешен с академической точки зрения, считает Швезиг: посвященную Gummi научную работу с тех пор цитировали более 100 раз. Позже, в 2011 году, Sony применила технологию задней сенсорной панели на выпущенной игровой консоли PlayStation Vita.

Иван Пупырев уверен: у Sony был шанс первой «придумать iPhone», как, впрочем, и у других корпораций, ведь идея гаджета без кнопок новаторской не была: создать телефоны с тачскрином пыталась, например, IBM. Но революцию произвела Apple: в январе 2007-го глава корпорации Стив Джобс представил первую версию смартфона, изменившего модель потребления. Пупырев объясняет прорыв тем, что компания сделала ставку на проекционно-емкостные (capacitive touch), а не на поверхностно-емкостные (resistive touch) экраны, которые изначально сделаны, чтобы водить по дисплею пальцем, а не просто нажимать на него.

Начало эры сенсорных телефонов заставило Ивана Пупырева вернуться к прежним увлечениям: теперь, когда персональные гаджеты, полностью состоящие из дисплеев, начали захватывать мир, технологии AR могут стать по-настоящему массовыми. К тому моменту о русском инженере знали в научном мире: Пупырев выпустил около 50 работ о VR, AR и других интерактивных технологиях.

«Внедрять цифровую информацию в мир» Пупырев начал в парках аттракционов Disney: в 2009-м компания открыла исследовательскую лабораторию и позвала его на работу. Инженер вновь переехал в США и набрал команду в группу интерактивного дизайна.

Контролируемая реальность

«Это Микки-Маус, мой бывший босс», — смеется Пупырев, показывая презентацию со своими изобретениями. На одной из фотографий самый известный герой вселенной Disney стоит рядом с цветочным кустом с табличкой: «Коснитесь азалии, чтобы поздороваться».

Пупырев с коллегами из Disney придумал в 2011 году игру SideBySide с движущимися изображениями из мини-проекторов. Применения для серьезных задач революционная технология тогда не нашла.

(Фото: из архива пресс-службы компании Disney)

Один из главных проектов команды Пупырева в Disney — технология Touché. С помощью провода и электронной платы она позволяет распознавать прикосновение человека к предмету, растению или даже воде. Разработчики научили Touché не только реагировать на касание человека, но и распознавать пользователей сенсорного экрана. Все патенты на изобретение принадлежат американской корпорации. Технологию можно применять в играх, писали в посвященной Touché статье разработчики. Но пока ее в основном используют в развлекательных целях: она интегрирована во многие объекты, которые можно найти в парках Disney, рассказывает инженер Али Исрар, работавший с Пупыревым. Например, в Диснейленде в Шанхае есть «цифровые растения», отвечающие звуком на прикосновение. «В Disney можно было делать такие вещи, которые больше никогда в жизни не сделаешь: здесь полностью контролируемая реальность. Ты же не построишь свой собственный Диснейленд», — с нескрываемым удовольствием рассказывает Пупырев.

В рамках парков развлечений Disney у инженера были практически неограниченные возможности для экспериментов с новыми технологиями. Он не мог не воспользоваться ситуацией и вместе с командой пробовал интегрировать в реальность не только звук, но и изображение.

В 2011-м Пупырев и его коллеги Карл Виллис и Моше Махлер представили систему SideBySide: два человека, вооружившись мини-проекторами со встроенными камерами, могли играть проецируемыми изображениями, которые реагируют на движения и взаимодействуют между собой. Разработчики надеялись, что SideBySide будут применять в практических целях, например для передачи файлов или обучения. Но журнал Wired главной ценностью изобретения назвал возможность «успокоить детей, где бы вы ни находились». SideBySide, как и многие решения Пупырева, не дошла до коммерческого использования.

Исрар самой успешной разработкой из тех, над которыми они вместе трудились, называет Surround Haptics. Технология позволяет добавлять тактильные ощущения: сенсоры встраиваются в кресла, перчатки, обувь и одежду и симулируют ощущения от ускорения или торможения, езды по неровной дороге, взрывов и т.п. В 2012-м Marvel и Comfort Research использовали Surround Haptics в подкладках для кресел (продукт стоил $99): потребители смогли «почувствовать» звуки в играх и фильмах. А в открывшейся в июне 2017-го зоне парка Disney во Флориде, посвященной фильму «Аватар», одним из главных развлечений стал виртуальный полет на спине драконообразного существа за счет интеграции Surround Haptics в сиденья.

Пупырев совмещает в себе «масштабность идей предпринимателя и аналитическое мышление ученого», описывает российского инженера Исрар. Совместную работу он называет историей успеха и признается, что скучает по работе с Пупыревым. После пяти лет в должности главного научного сотрудника лаборатории Disney инженер уволился (представитель корпорации отказался обсуждать работу экс-сотрудника) ради Google.

Штатный стартапер