Виртуальный мир слушается вещей и следует жестам

Управление данными "в воздухе", в стиле Minority Report, виртуальная секретарша, которая делает почти всё (но кофе не готовит), и запуск приложения броском ботинка на стол. Выбор велик как никогда. Со времён появления графического интерфейса и компьютерной мыши люди почувствовали вкус к удобному взаимодействию с компьютерным миром. И поиск идеала не прекращается. Может, из-за того что его нет?

Наилучший способ общения пользователя и машины во многом зависит от задач. Но всегда хочется верить, что совершенство близко. Каким оно окажется? Можно только гадать. А пока познакомимся с новыми достижениями на этой ниве.

Вы — дирижёр. Но вместо оркестра вы управляете многочисленными данными. Повинуясь движениям ваших рук, комбинациям пальцев, поворотам ладони, на огромном экране-стене перед вами раскрываются файлы, меняется масштаб картинки, нужные части изображения перетекают на столик, стоящий у ваших ног, другие переползают на экран на соседней стене. Прямо в воздухе вы выписываете волнистые линии и отмечаете ключевые точки на схемах и графиках.

Такова реальная система, называемая "Операционная пространственная среда G-Speak" — детище американской компании Oblong Industries.

У G-Speak (на снимке) было немало идеологических предшественников: мышь-перчатка, интерактивный стол "Голубой глаз", несложная система управления бытовой техникой жестами… Маркеры на руках, движение которых воспринимала камера, мы уже видели в удивительной системе Ли, а ещё богатое управление данными "на кончиках пальцев" (правда, контактное) блестяще реализовано в столе Microsoft Surface. На стене-экране же ранее такое фантастическое взаимодействие показывал Джефферсон Хан (кадр с сайта oblong.com).

На что похож этот интерфейс? Знатоки кино сразу скажут — "Особое мнение" (Minority Report). Действительно, это сравнение приводят и сами разработчики. Что ж, можно только порадоваться, ведь прошло всего-то шесть лет с выхода фантастического фильма, как инженеры и учёные реализовали одну из киношных придумок. Так?

А вот и нет! Всё было с точностью до наоборот. Это создатели "Особого мнения" экранизировали неизвестную широкой публике и ещё сырую (на тот момент) разработку, которую уже не один год вели американские компьютерщики. Правда, при съёмке не обошлось без спецэффектов, но в основе замысла была реальная система.

Авторами комплекса, который позже эволюционировал в G-Speak, являются Джон Андеркоффлер (John Underkoffler) и его коллеги из медиалаборатории Массачусетского технологического института (MIT Media Lab). Именно там Спилберг и его подчинённые подсмотрели действующее управление данными при помощи жестов.

Футурист и компьютерщик Джон Андеркоффлер также был научным консультантом при создании фильмов Hulk, Aeon flux и Iron man, а ещё – телесериала Taken (фото Jemal Countess/WireImage.com).

Задолго до "Особого мнения" Андеркоффлер задумался над тем, как привнести компьютерную графику в реальный мир. Он мечтал, что снимки, схемы, таблицы можно будет выводить на стены, полы, ладони, столы и стулья.

Причём управляться с этими виртуальными объектами хорошо было бы простыми жестами. Очертил пальцем круг — вырезал из кадра объект, провёл ладонью вниз — переместил фрагмент на новый снимок, сделал ещё несколько пассов — отправил полученное по электронной почте. Как-то так.

С выводом было всё понятно — нужны проекторы. Причём учёные сразу подумали о размещении одной или, лучше, нескольких таких установок на потолке и стенах, там, где обычно размещаются лампочки освещения. Лампочка же имеет "привилегированное положение" в комнате — ей всё хорошо видно.

Авторы системы пошутили, что, мол, лампочка — это тоже в некотором роде проектор, только показывающий один пиксель. Так что нужно было всего-то "поднять разрешение". Что американские исследователи и проделали, построив очень маленький цифровой проектор (не без помощи ряда партнёров из промышленности).

Восприятие жестов оказалось более сложной задачей. Решено было встроить крошечную камеру в ту же самую "лампочку-проектор". Камера воспринимала бы движения рук (в специальных перчатках, оснащённых хорошо различимыми маркерами) и передавала бы их на комп. Дальше дело техники: PC должен на лету распознавать жесты, определять координаты рук в пространстве и интерпретировать их как команды. Создание такого софта, впрочем, заняло немало времени. Это только на словах всё выглядит просто.

Несколько таких "лампочек", перекрывающих различные "углы обстрела" в комнате, и создавали бы среду, о которой мечтал Андеркоффлер. Авторы даже придумали забавный термин "лампочка ввода-вывода" (input-output lightbulb), хотя к электрической лампочке это устройство не имеет никакого отношения.

Так в 1990-х в Массачусетском институте и появилась "Светящаяся комната" (Luminous Room). В ней Андеркоффлер не один год шлифовал принцип "воздушного управления графикой", и в ней как раз члены команды Спилберга проводили целые дни напролёт, чтобы потом наиболее правдоподобно показать в фильме компьютерный интерфейс "далёкого будущего".

Джон Андеркоффлер, кстати, стал научным консультантом "Особого мнения". Ему в том числе мы обязаны продуманностью "реалий 2054 года".

Фильм, как известно, имел успех (к слову, ещё одну идею из Minority Report, пусть на ином принципе, попробовали воплотить в жизнь в Британии — это предсказание имён будущих убийц). Но главное — "будущее" в данном контексте оказалось не таким уж и далёким.

Luminous Room "накачала мускулы", обрела более продвинутый "интеллект" и превратилась в среду G-Speak. Для её дальнейшего развития и продвижения на рынок недавно была создана компания Oblong Industries (Андеркоффлер стал в ней ведущим учёным и одним из учредителей).