На прошлой неделе в Кремниевой долине проходила крупнейшая в мире конференция по стерео — 27-я Stereoscopic Displays and Applications conference. Свой репортаж о мероприятии написал Дмитрий Сергеевич Ватолин — старший научный сотрудник лаборатории компьютерной графики и мультимедиа кафедры АСВК ВМК МГУ.

На этой неделе был на крупнейшей в мире конференции по стерео: они себя скромно называют «The World’s Premier Conference for 3D Innovation».

В общем я с прискорбием констатирую, что жалкое 3D, которым мы занимаемся, полностью морально устарело, ибо было два совершенно замечательных доклада про 4D. (Шучу, multiview мы тоже занимаемся ?)

Пленоптические камеры

Сразу к делу.

Есть такая тема — пленоптические камеры. В принципе сама идея известна с 1992 года со статьи «Single Lens Stereo with Plenoptic Camera» — с одной линзой стерео — это, конечно, интересно как факт, но не очень практично. Впрочем, через 20 лет после изобретения принципа компанией Lytro была выпущена первая в мире коммерческая серийная пленоптическая камера.

В чем суть: внутри камеры помимо обычных линз перед сенсором стоит матрица линз, в итоге камера может сделать ОДНОВРЕМЕННЫЙ снимок как бы с несколькими фокусными расстояниями и из нескольких точек. Там все довольно просто — чистая оптика, но чтобы снимок был качественным, разрешение сенсора должно быть огромным. А у первой камеры сенсор был всего 10 мегапикселей.

Кому интересно, можете почитать на Mobile Review обзор, в котором человек плюется и ругается, что камера не оправдала его ожиданий. Очень дельный обзор первой камеры есть на Хабре.

А теперь самое интересное! В 2012 они выпустили первую камеру с сенсором 10 мегапикселей, в 2014 — камеру с 40 мегапикселями, а в 2016 – планируют к выпуску камеру с 164 мегапикселями! И последнее — уже реальная революция. Не то, чтобы телескоп Хаббл (по разрешению) в кармане, но что-то близкое. И фото с камеры уже начинают на что-то походить!

Короче — на приглашенном докладе профессор из Беркли рассказал как раз про их эксперименты с новым сенсором на 164 мегапикселя и показал первые снимки и, что забавнее, пленоптическое видео с такого сенсора!

Помимо фишки, что на компьютере можно менять постфактум фокусное расстояние, из пленоптической фотографии можно получать постфактум стереоснимки. Правда с очень небольшой стереобазой, зато можно брать например, 4 снимка из каждого угла, между ними получается 6 вариантов стереобаз (причем с самым большим расстоянием — для диагональных), по которым реально можно бита на три поднять точность получающейся глубины объектов. Причем кроме того (отдельно) можно получать глубину из резкости (независимо от карт диспаритета). Т.е. у пленоптических снимков аж два источника получения глубины объектов, а у обычных снимков — ни одного. Но понятно, что нормально их глубина будет эксплуатироваться только с ростом разрешения. И скорее всего им потребуется еще пара поколений, чтобы довести все до уровня полного «Вау!»

Впрочем даже сейчас, даже снимки камеры прошлого поколения (40 мп) выглядят прикольно. Я рекомендую в правом верхнем углу, где «CHOOSE PLAYER MODE» сразу выбрать «Advanced Player».

При этом когда вы будете водить мышкой над картинкой, она будет «вращаться» — вы увидите многоракурсную (в двух измерениях матрицы) базу картинки, откуда, собственно, и возникло название 4D — картинка реально имеет 4 измерения. Также можно кликнуть на любой объект сцены, при этом плеер знает глубину этого объекта и картинка будет перестроена так, чтобы объекты на этой глубине были в фокусе. Очень забавная игра ?

У камеры на 164 мегапиксела в общем-то все то же самое, только разрешение будет еще в 2 раза выше по каждому измерению, т.е. снимки будут ближе по качеству к тому, к чему мы привыкли.

Да, и как я уже говорил — они идут к тому, чтобы снимать пленоптическое видео. Там масса проблем с потоками данных, но они уже показали первое видео с 10 FPS, причем для этого видео у них уже в первом приближении есть карта глубин. В общем — в очень интересном направлении все развивается, причем достаточно быстро. Фактически растет количество камер глубины, выпускаемых на разных типах сенсоров.

GoPro и 4D

Также на 4D замахнулась GoPro! Вообще камеры GoPro — это маленькая революция. Они умудряются с небольшими объективами давать качество, которое еще недавно было доступно только с дорогими профессиональными камерами. При этом камеры устойчивы к падениям, ударам и т.п.

Но видимо камеры недостаточно массово продавались компания решила не останавливаться на достигнутом, и сейчас они работают над поддержкой массивов камер.

Что это дает? Во-первых, вам приходится сразу покупать не одну камеру, а минимум 16, что положительно сказывается на продажах. Шучу ? Но это правда. Во-вторых, вы ставите камеры в распечатанный на 3D принтере каркас, берете Google Jump Assembler и собираете из 16 камер 360 стереовидео. Заливаете его на YouTube (они недавно реализовали его поддержку), берете шлем, или на худой случай Google Cardboard, и наслаждаетесь.

Пример такого ролика:

https://youtube.com/watch?v=xPhdLz2Ebfw%3Flist%3DPLU8wpH_LfhmubQ4jYhoeQpPL_a4OgsQUX

Но это не 4D, заметит внимательный читатель. Да, это не 4D. Именно поэтому GoPro сейчас работает над развитием проекта, когда вы ставите 16 (или больше) камер не по кругу, а в линейку, при этом разрешение камер таково, что позволяет (правда, с некоторой потерей разрешения) не только плавно двигаться в направлении линейки камер, но и выдвигать виртуальную камеру на некоторое расстояние вперед (!), пересчитывая картинку нового положения по тому же принципу, что для пленоптической системы! Это уже пошел Computatinal Imaging, который, собственно, и заявлялся на конференции.

И, конечно, они работают над матрицами из 64 и 128 камер GoPro, которые не только позволят еще улучшить продажи фактически дадут еще 3 измерения перемещения виртуальной камеры (!). Т.е. получится 5D видео, ну или 4.5D, поскольку по глубине перемещение будет все же довольно ограничено.

3D не умерло

Впрочем и это не все. Были продвижения и в старом добром 3D.

Например, Intel рассказал про свои успехи с Intel RealSense. Суть очень простая — они уже поставляют камеры глубины для ноутбуков, планшетов и телефонов.

Пока это в принципе младенчество технологии, но скоро станет реальным управление жестами, легкое построение 3D моделей людей (производители 3D принтеров уже заждались таких решений), разные забавные приложения типа трехмерной лепки и т. д.

Наиболее прикольным для меня лично было показанное видео с домашним роботом-пылесосом, который понимал голосовые команды типа «Убери тут» (и рука показывает где). На таком уровне интерфейс вполне совместим с каждой домохозяйкой ?

Конференция вполне оправдало свое громкое «The World’s Premier Conference for 3D Innovation» оправдывала.

Были интересные алгоритмические вещи. NVIDIA, например, показала новый шлем.

Также вы можете прочитать вот эту серию статей о том, как работает 3D и почему оно работает не так, как надо.