Saltar al contenido
ᐅ HielosMendez – Información digital que te dejara helado 🧊🥶

Cómo funciona la vista nocturna de Google y por qué es tan buena

Al leer todos los elogios por la nueva función de fotografía con poca luz Night Sight de Google para teléfonos Pixel, se le perdonará por pensar que Google acaba de inventar la película en color. De hecho, los modos de disparo nocturno no son nuevos y muchas de las tecnologías subyacentes se remontan a años atrás. Pero Google ha hecho un trabajo increíble al combinar su destreza en imágenes computacionales con su fuerza incomparable en el aprendizaje automático para impulsar la capacidad más allá de cualquier cosa vista anteriormente en un dispositivo móvil. Echaremos un vistazo a la historia de la fotografía con poca luz de captura de múltiples imágenes, cómo probablemente la utilice Google y especularemos sobre lo que la IA aporta a la fiesta.

El desafío de la fotografía con poca luz

Estelas de estrellas de larga exposición en el Parque Nacional Joshua Tree, filmadas con una Nikon D700.  Imagen de David Cardinal.Todas las cámaras luchan en escenas con poca luz. Sin suficientes fotones por píxel de la escena, el ruido puede dominar fácilmente una imagen. Dejar el obturador abierto más tiempo para reunir suficiente luz y crear una imagen utilizable también aumenta la cantidad de ruido. Quizás lo que es peor, también es difícil mantener una imagen nítida sin un trípode estable. El aumento de la amplificación (ISO) hará que la imagen sea más brillante, pero también aumentará el ruido al mismo tiempo.

Los píxeles más grandes, que normalmente se encuentran en sensores más grandes, son la estrategia tradicional para abordar el problema. Desafortunadamente, los sensores de la cámara del teléfono son pequeños, lo que da como resultado pequeños fotositos (píxeles) que funcionan bien con buena iluminación pero fallan rápidamente a medida que disminuyen los niveles de luz.

Eso deja a los diseñadores de cámaras de teléfonos con dos opciones para mejorar las imágenes con poca luz. La primera es utilizar varias imágenes que luego se combinan en una versión con menos ruido. Una implementación temprana de esto en un accesorio de dispositivo móvil fue el modo SRAW del complemento DxO ONE para iPhone. Fusionó cuatro imágenes RAW para crear una versión mejorada. El segundo es utilizar un posprocesamiento inteligente (con versiones recientes a menudo impulsadas por aprendizaje automático) para reducir el ruido y mejorar el tema. Night Sight de Google usa ambos.

Múltiples imágenes, captura única

A estas alturas, todos estamos acostumbrados a que nuestros teléfonos y cámaras combinen varias imágenes en una, principalmente para mejorar el rango dinámico. Ya sea que se trate de un conjunto tradicional de exposiciones entre corchetes como el utilizado por la mayoría de las empresas, o el HDR + de Google, que utiliza varias imágenes de corta duración, el resultado puede ser una imagen final superior, si los artefactos causados ​​por la fusión de varias imágenes de una escena en movimiento juntas pueden ser minimizado. Normalmente, eso se hace eligiendo un fotograma base que represente mejor la escena y luego fusionando partes útiles de los otros fotogramas en él para mejorar la imagen. Huawei, Google y otros también han utilizado este mismo enfoque para crear capturas de teleobjetivo de mejor resolución. Recientemente hemos visto lo importante que es elegir el marco base correcto, ya que Apple ha explicado su error de «BeautyGate» como un error en el que se estaba eligiendo el marco base incorrecto de la secuencia capturada.

Por lo tanto, tiene sentido que Google, en esencia, haya combinado estos usos de la captura de múltiples imágenes para crear mejores imágenes con poca luz. Al hacerlo, se basa en una serie de ingeniosas innovaciones en imágenes. Es probable que la aplicación de Marc Levoy para Android Ver en la oscuridad y su artículo de 2015 sobre “Imágenes extremas usando teléfonos celulares” fueron la génesis de este esfuerzo. Levoy fue un pionero en imágenes computacionales en Stanford y ahora es un ingeniero distinguido que trabaja en tecnología de cámaras para Google. SeeInTheDark (una continuación de su anterior aplicación SynthCam iOS) usó un teléfono estándar para acumular fotogramas, deformando cada fotograma para que coincida con la imagen acumulada y luego realizando una variedad de pasos de reducción de ruido y mejora de imagen para producir un final notable con poca luz. imagen. En 2017, un ingeniero de Google, Florian Kanz, se basó en algunos de esos conceptos para mostrar cómo un teléfono podría usarse para crear imágenes de calidad profesional incluso con muy poca luz.

Apilar varias imágenes con poca luz es una técnica bien conocida

Los fotógrafos han estado apilando varios fotogramas para mejorar el rendimiento con poca luz desde el comienzo de la fotografía digital (y sospecho que algunos incluso lo hicieron con película). En mi caso, comencé haciéndolo a mano y luego usé una ingeniosa herramienta llamada Image Stacker. Dado que las primeras DSLR eran inútiles con ISO altos, la única forma de obtener excelentes tomas nocturnas era tomar varios fotogramas y apilarlos. Algunas tomas clásicas, como los rastros de estrellas, inicialmente se capturaron mejor de esa manera. En estos días, la práctica no es muy común con las cámaras DSLR y sin espejo, ya que los modelos actuales tienen un excelente rendimiento nativo de alto ISO y ruido de larga exposición. Puedo dejar el obturador abierto en mi Nikon D850 durante 10 o 20 minutos y aún así obtener algunas tomas muy útiles.

Por lo tanto, tiene sentido que los fabricantes de teléfonos sigan su ejemplo, utilizando una tecnología similar. Sin embargo, a diferencia de los fotógrafos pacientes que capturan rastros de estrellas con un trípode, el usuario medio de un teléfono desea una gratificación instantánea y casi nunca utilizará un trípode. Por lo tanto, el teléfono tiene el desafío adicional de hacer que la captura con poca luz se realice con bastante rapidez y también minimizar el desenfoque por el movimiento de la cámara, e idealmente incluso por el movimiento del sujeto. Incluso la estabilización de imagen óptica que se encuentra en muchos teléfonos de gama alta tiene sus límites.

No estoy seguro de qué fabricante de teléfonos utilizó por primera vez la captura de imágenes múltiples para mejorar la iluminación con poca luz, pero el primero que utilicé es el Huawei Mate 10 Pro. Su modo Night Shot toma una serie de imágenes durante 4-5 segundos, luego las fusiona en una foto final. Dado que Huawei deja activa la vista previa en tiempo real, podemos ver que utiliza varias exposiciones diferentes durante ese tiempo, esencialmente creando varias imágenes entre corchetes.

En su artículo sobre el HDR + original, Levoy argumenta que las exposiciones múltiples son más difíciles de alinear (razón por la cual HDR + usa muchos marcos expuestos de manera idéntica), por lo que es probable que Night Sight de Google, como SeeInTheDark, también use una serie de marcos. con exposiciones idénticas. Sin embargo, Google (al menos en la versión preliminar de la aplicación) no deja la imagen en tiempo real en la pantalla del teléfono, así que eso es solo una especulación de mi parte. Samsung ha utilizado una táctica diferente en el Galaxy S9 y S9 +, con una lente principal de doble apertura. Puede cambiar a un impresionante f / 1.5 en condiciones de poca luz para mejorar la calidad de la imagen.

Comparación de las capacidades de cámara con poca luz de Huawei y Google

Todavía no tengo un Pixel 3 o Mate 20, pero tengo acceso a un Mate 10 Pro con Night Shot y un Pixel 2 con una versión preliminar de Night Sight. Así que decidí comparar por mí mismo. En una serie de pruebas, Google superó claramente a Huawei, con menos ruido e imágenes más nítidas. Aquí hay una secuencia de prueba para ilustrar:

Pintar a la luz del día con Huawei Mate 10 Pro

Pintar a la luz del día con Huawei Mate 10 Pro

Pintar a la luz del día con Google Pixel 2

Pintar a la luz del día con Google Pixel 2

Sin un modo de toma nocturna, esto es lo que obtienes al fotografiar la misma escena en la oscuridad cercana con el Mate 10 Pro.  Elige un tiempo de obturación de 6 segundos, que se muestra en el desenfoque.

Sin el modo Night Shot, esto es lo que obtienes al fotografiar la misma escena casi en la oscuridad con el Mate 10 Pro. Eligió un tiempo de obturación de 6 segundos, que se muestra en el desenfoque.

Una versión filmada casi en la oscuridad con Night Shot en el Huawei Mate 10 Pro.  Los datos EXIF ​​muestran ISO3200 y un tiempo de exposición total de 3 segundos.

Una versión filmada casi en la oscuridad con Night Shot en el Huawei Mate 10 Pro. Los datos EXIF ​​muestran ISO3200 y un tiempo de exposición total de 3 segundos.

La misma escena con Night Sight (prelanzamiento) en un Pixel 2. Color más preciso y un poco más nítido.  Los datos EXIF ​​muestran ISO5962 y 1/4 de segundo para el tiempo de obturación (presumiblemente para cada uno de los muchos fotogramas)

La misma escena con Night Sight (prelanzamiento) en un Pixel 2. Color más preciso y un poco más nítido. Los datos EXIF ​​muestran ISO5962 y 1/4 de segundo para el tiempo de obturación (presumiblemente para cada uno de los muchos fotogramas). Ambas imágenes se volvieron a comprimir a un tamaño general más pequeño para su uso en la web.

¿Es el aprendizaje automático parte de la salsa secreta de Night Sight?

Dado cuánto tiempo ha existido el apilamiento de imágenes y cuántos fabricantes de cámaras y teléfonos han empleado alguna versión, es justo preguntarse por qué Night Sight de Google parece ser mucho mejor que cualquier otra cosa. Primero, incluso la tecnología en el artículo original de Levoy es muy compleja, por lo que los años que Google ha tenido que seguir mejorando deberían darles una ventaja decente sobre cualquier otra persona. Pero Google también ha dicho que Night Sight utiliza el aprendizaje automático para decidir los colores adecuados para una escena en función del contenido.

Eso suena bastante bien, pero también bastante vago. No está claro si está segmentando objetos individuales para que sepa que deben ser de un color consistente, o coloreando objetos conocidos de manera apropiada, o reconociendo globalmente un tipo de escena de la forma en que lo hacen los algoritmos inteligentes de autoexposición y decidiendo cómo deben hacerlo escenas como esa. generalmente se ven (follaje verde, nieve blanca y cielo azul, por ejemplo). Estoy seguro de que una vez que se lance la versión final y los fotógrafos adquieran más experiencia con la capacidad, aprenderemos más sobre este uso del aprendizaje automático.

Otro lugar donde el aprendizaje automático podría haber sido útil es el cálculo inicial de exposición. La tecnología principal HDR + subyacente a Night Sight, como se documenta en el documento SIGGRAPH de Google, se basa en un conjunto de datos etiquetado a mano de miles de escenas de muestra para ayudarlo a determinar la exposición correcta para su uso. Eso parecería un área donde el aprendizaje automático podría resultar en algunas mejoras, particularmente al extender el cálculo de exposición a condiciones de muy poca luz donde los objetos en la escena son ruidosos y difíciles de discernir. Google también ha sido experimentar con el uso de redes neuronales para mejorar la calidad de la imagen del teléfono, por lo que no sería sorprendente comenzar a ver el despliegue de algunas de esas técnicas.

Cualquiera que sea la combinación de estas técnicas que Google haya utilizado, el resultado es sin duda el mejor modo de cámara con poca luz del mercado actual. Será interesante a medida que la familia Huawei P20 desarrolle si ha podido acercar su propia capacidad Night Shot a lo que ha hecho Google.

Ahora lea: Los mejores teléfonos Android para fotógrafos en 2018, Flujo de trabajo de fotografía móvil: empujando el sobre con Lightroom y Pixel, y LG V40 ThinQ: cómo 5 cámaras superan los límites de la fotografía de teléfonos