Saltar al contenido
ᐅ HielosMendez – Información digital que te dejara helado 🧊🥶

La holografía neuronal puede impulsar la realidad virtual y la realidad aumentada en tiempo real

Crédito: Dong Wenjie / Getty Images

La historia de las pantallas VR / AR es una de las compensaciones. La mayor parte del mercado está dominado por modelos de un solo plano, que obligan al espectador a enfocarse de forma no natural en una sola distancia sin importar cuán lejos deban estar los objetos en la escena. Las pantallas multifocales basadas en guías de ondas, como las de Magic Leap, son caras y tienen un campo de visión limitado. Por eso ha habido un interés creciente en varias alternativas. Una de las áreas de investigación más prometedoras son las pantallas holográficas, que prometen una experiencia agradable a la vista con resultados realistas.

Desafortunadamente, generar imágenes para pantallas holográficas es un proceso complicado y que requiere mucho tiempo. Ahí es donde entra en juego una nueva investigación publicada por el laboratorio del profesor asistente Gordon Wetzstein de la Universidad de Stanford y presentada en SIGGRAPH este mes. La técnica, llamada holografía neuronal, utiliza una red neuronal especializada entrenada con un simulador de cámara en el bucle para generar alta calidad resultados, y eso puede ejecutarse esencialmente en tiempo real, alrededor de 30 fps actualmente.

Holografía neuronal

Cómo funcionan las pantallas holográficas, simplificadas

Para muchos de nosotros, nuestro primer recuerdo de un holograma fue una imagen borrosa y monocromática de un objeto doméstico común escondido detrás de un vidrio en una vitrina de museo. Por eso es casi mágico que se puedan proyectar en color a través de un sistema de visualización personal. Pero los principios básicos no han cambiado: se usa una fuente de luz láser y se colima (de modo que todas las ondas de luz viajan en paralelo). Luego se transmite a través de un modulador de luz espacial (SLM), que varía la fase por píxel.

El resultado es un campo de luz con patrones de interferencia que crean una imagen 3D de la escena. El usuario ve la imagen a través de una lente que da como resultado una proyección 2D en su retina. En su aplicación más simple, SLM usa una transformación fija, pero para obtener mejores resultados, la transformación debe ser más sofisticada. El esfuerzo de Stanford, por ejemplo, trata cada píxel individualmente.

Cómo la holografía neuronal mejora la canalización de visualización holográfica

CGH (holografía generada por computadora) es el proceso de intentar recrear una escena como un holograma proyectado por una pantalla, en este caso, una pantalla para el ojo cercano, típicamente montada en la cabeza. Aparte del hardware, el mayor desafío para crear una imagen realista es la transformación aplicada por el SLM. Necesita crear una proyección holográfica creíble utilizando solo cambios de fase de la luz que lo atraviesa.

Los algoritmos existentes para calcular esa transformación suelen ser directos, rápidos y de mala calidad, o iterativos y demasiado lentos para su uso en tiempo real. En el artículo del equipo de Stanford, proporcionan numerosos ejemplos de métodos existentes y sus deficiencias. Para abordarlos, el equipo se centró en dos innovaciones complementarias.

La configuración del laboratorio de holografía neuronal de Stanford presenta una simulación cameara-in-the-loop

La configuración del laboratorio de holografía neuronal de Stanford utiliza un láser RGB, ópticas de colimación, un SLM de LCoS (cristal líquido sobre silicio) y presenta una simulación de cámara en bucle mediante una cámara de visión artificial.

Primero, agregaron una cámara real al típico equipo de simulación holográfica para mejorar su capacidad de calibrar y entrenar el sistema. Al incluir la óptica, el equipo es un mejor análogo para una pantalla real y el ojo humano que los sistemas tradicionales que solo miran la imagen de salida del SLM. Al entrenar el sistema usando optimizaciones como el descenso de gradiente estructurado (SGD) para «aprender» cómo crear transformaciones de alta calidad para el SLM de una pantalla, crearon algoritmos iterativos que mejoraron otros resultados publicados. La cámara solo es necesaria para la calibración y el entrenamiento. Una vez que se completa ese paso, los resultados se pueden usar con un sistema de visualización más simple.

En segundo lugar, el equipo construyó una red neuronal eficiente, Holonet, que entrenó para crear un modelo del sistema en sí, que incluye tanto la transformada SLM como las aberraciones ópticas. Ese modelo se usa para mostrar imágenes, incluidas las que no están en el conjunto de entrenamiento inicial. El enfoque de inferencia de alto rendimiento le permite calcular las transformaciones necesarias en tiempo real, incluso para imágenes tan grandes como 1080p. Como resultado, el equipo puede lograr resultados directos que son tan buenos o mejores que los algoritmos iterativos anteriores, y casi tan buenos como sus propios resultados iterativos de CITL.

Al agregar una cámara, el simulador CITL (cámara en bucle) refleja con mayor precisión los resultados del mundo real de la óptica de la pantalla montada en la cabeza.

La holografía neuronal muestra una calidad impresionante con un rendimiento excelente

Holonet comparado con DPAC

Holonet en comparación con DPAC (codificación de amplitud de doble fase), que fue el estado de la técnica cuando se presentó en SIGGRAPH 2017.

El equipo comparó los resultados de Holonet con varios de los principales algoritmos publicados anteriormente, incluida la Holografía de Wirtinger, DPAC, GS (Gerchberg-Saxton), así como con su esfuerzo inicial de CITL (cámara en bucle). Produjo resultados superiores para todos ellos al tiempo que proporcionaba un rendimiento impresionante. Arriba hay un fotograma de su video de comparación, pero puede ver las comparaciones completas y la charla SIGGRAPH de Wetzstein en línea en el sitio de Computational Imaging de Stanford.

Holonet no se limita a exhibiciones holográficas

Wetzstein considera que las pantallas holográficas son una de las áreas más interesantes para la investigación en pantallas AR / VR, ya que no se ha desarrollado tanto como las opciones más tradicionales. Sin embargo, no considera que el esfuerzo de Holonet de su equipo sea útil únicamente para las pantallas holográficas existentes, ya que la representación de pantallas multifocales y varifocales enfrenta desafíos similares. El equipo está explorando formas en que los resultados se pueden combinar con soluciones varifocales y multifocales para crear versiones holográficas de esos enfoques que ayudarían a abordar tanto el realismo como algunos problemas comunes, como los conflictos de acomodación de vergencia.