Welcome to Light Fields!!! Ahora sí.

(Tres minutos de lectura, 6 enlaces, un video)

Llevo desde 2015 haciendo recorridos virtuales en pantalla o VR (Cardboard o WebGL) basados en imágenes esféricas, reales o sintéticas (aquí). En cualquiera de los dos casos, aunque fueran estereoscópicas el problema que tiene esta técnica en VR es que es sólo 3DoF, tres grados de libertad. Dicho de otro modo, si te mueves, si andas o te agachas, la imagen, la experiencia, se mueve contigo, lo que le resta de manera sustancial credibilidad. No es VR plena como sí lo es la que se renderiza a 90Fps a partir de modelos 3D.

Aunque se intentara 6DoF a través de un motor de render permitiendo ligeros desplazamientos dentro de una esfera en la que se proyecta la imagen equirectangular, el resultado seguiría sin satisfacer.

Desde hace ya bastantes años se persigue dotar a las imágenes de voxelización, por llamarlo de algún modo, una especie de píxeles volumétricos, para enterderlo fácilmente.

En inglés se llama LightFields y vamos a oir hablar de ello mucho a partir de ahora. Básicamente se trata de una función (plenóptica) que describiría la intensidad, dirección y polarización de cada rayo de luz que incidiera en una matriz de puntos (x,y,z) en un espacio concreto, matriz tan discreta como se quiera y permita la máquina que soporta los cálculos,. Como puede imaginar uno la cantidad de datos que esto supone es estelar, pero da como resultado que uno puede moverse dentro de una fotosfera, es decir fotografía 6DoF plenamente inmersiva y con multitud de aplicaciones en las que ahora no voy a entrar pero que están bien descritas aquí. De algún modo es como si tuviéramos un número masivo de fotosferas que describen lo que vemos desde cada una de ellas dentro de un ámbito. Evidentemente no se puede alcanzar tal número masivo por lo que se recurre a trucos e interpolaciones entre puntos dentro de ese ámbito.

Hasta ahora la aplicación a VR quedaba al albur de la imaginación puesto que fuera de los laboratorios no se había publicado nada, quizá en algún congreso. Los pioneros en todo esto, ya con resultados comerciales, han sido Lytro , quienes hace tiempo sacaron al mercado un par de cámaras para LightField 2D muy interesantes e incluso asequibles. Las de ahora son dispositivos, estos sí, masivamente caros y grandes, tanto que algunos se alquilan, no se compran, al menos hasta donde yo sé. Visitad la página y ved lo que tienen, que es espectacular, se ve pero no se toca, muy lejos de lo que podríamos considerar «mainstream»

El miércoles 14 de Marzo pasado me enteré por un tweet de Vrscout de que mi admirado Paul Devebec (que trabaja en Google) había sido entrevistado en el blog de Google y anunciaba una experiencia libre para HTCVive y OculusRift fruto de las investigaciones de su equipo, del «rig» de 16 cámaras que han preparado, de los cálculos que han implementado y de lo impresionante del resultado como para que la Nasa les haya dejado meterlo en un transbordador. Para mí supone un momento clave en la historia. Raudo descargué la experiencia de Steam y probé. Es sencillamente alucinante.

Como quiera  que no muchos aún disponéis de modelo alguno de gafas VR de gama alta, me he decidido a grabar la experiencia en primera persona para que os hagáis una idea.

Esta misma técnica aplicada a imágenes sintéticas está siendo desarrollada, aquí ya no hacen falta cámaras reales, por Jules Urbach y su equipo de Otoy, es decir, rendear desde programas de síntesis de imagen para obtener el mismo resultado. Ahora bien, ¿qué será mejor en este caso,  moverse en este tipo de imágenes prerenderizadas o moverse en un modelo 3D que es renderizado al vuelo? Por cierto, Lytro también está desarrollando en este contexto, pero al contrario que Google, no han publicado nada que pueda escapar a su control. ¡Error!

Por último, es evidente que todo esto es aplicable a video, por lo que podemos imaginar pronto el «video light field«, 6DoF total.