La segunda generación de anteojos inteligentes Ray-Ban de Meta puede interpretar escenas y emitir juicios mediante IA generativa. Una nueva actualización introduce una función que utiliza las cámaras de las gafas para observar imágenes e interpretarlas. La actualización también incorpora a las gafas la función de búsqueda de Bing.
Se suponía que las funciones de IA, que pueden acceder a las cámaras de las gafas de Meta para ver imágenes e interpretarlas con IA generativa, se lanzarían en 2024. Meta las adoptó más rápido de lo esperado, aunque el modo de acceso anticipado sigue siendo una beta.
Junto con la incorporación de la búsqueda por Bing a las Ray-Ban como parte de una nueva actualización, que aumenta la potencia de las funciones de voz ya disponibles en las gafas, los anteojos de Meta están adquiriendo nuevas capacidades rápidamente.
Google Lens y otras herramientas para teléfonos móviles ya utilizan conjuntamente cámaras e inteligencia artificial, y Google Glass, hace una década, contaba con algunas herramientas de traducción.
IA multimodal: cómo funciona
Por ahora, esta función tiene sus límites. Solo puede reconocer lo que ves haciendo una foto, que luego la IA analiza. Se oye el disparo del obturador después de hacer una petición de voz, y hay una pausa de unos segundos antes de que llegue la respuesta. Las instrucciones de voz también son prolijas: cada petición de voz en las gafas Meta tiene que empezar con "Oye, Meta", y luego tienes que seguir con "mira y" (que originalmente pensé que tenía que ser "Oye, Meta, mira esto") para activar la toma de fotos, seguida inmediatamente de lo que quieras que haga la IA. "Oye, Meta, mira y dime una receta con estos ingredientes". "Oye, Meta, mira y haz un pie de foto gracioso". "Oye, Meta, mira y dime qué planta es esta".
Cada petición desencadena un disparo del obturador, y luego una pausa de unos segundos mientras la IA lee la imagen y la interpreta. Es parecido a cómo funcionaría una aplicación de cámara con IA basada en un teléfono, pero en tu cara y controlada por voz.
Cada respuesta de la IA, y la foto que ha mirado, se almacenan en la aplicación Meta View del teléfono que se empareja con los anteojos. Es un registro visual/escrito para más tarde, como notas para refrescar la memoria.
Las posibilidades son salvajes y fascinantes, y posiblemente increíblemente útiles. Meta admite que este primer lanzamiento servirá para descubrir fallos y ayudar a evolucionar el funcionamiento de la IA de los anteojos.