El martes, Microsoft Research Asia reveló VASA-1, un modelo de IA capaz de crear un vídeo animado sincronizado de una persona hablando o cantando a partir de una única foto y una pista de audio existente. En el futuro, podría impulsar avatares virtuales que se muestren localmente y no requieran una transmisión de video, o permitir que cualquier persona con herramientas similares tome una foto de alguien encontrado en línea y les dé la sensación de que dice lo que quiere.

«Esto allana el camino para interacciones en tiempo real con avatares realistas que imitan los comportamientos conversacionales humanos», se lee en el resumen del estudio. trabajo de investigación adjunto titulado «VASA-1: Caras parlantes realistas generadas por audio generadas en tiempo real». Es obra de Sicheng Xu, Guojun Chen, Yu-Xiao Guo, Jiaolong Yang, Chong Li, Zhenyu Zang, Yizhong Zhang, Xin Tong y Baining Guo.

El marco VASA (abreviatura de “Visual Affective Skills Animator”) utiliza el aprendizaje automático para analizar una imagen estática y un clip de audio de voz. Luego es capaz de generar un vídeo realista con expresiones faciales precisas, movimientos de cabeza y sincronización de labios con audio. No clona ni simula voces (como otras investigaciones de Microsoft), sino que se basa en una entrada de audio existente que puede grabarse o hablarse especialmente para un propósito particular.

Microsoft afirma que el modelo supera significativamente a los métodos anteriores de animación de voz en términos de realismo, expresividad y eficacia. A nosotros, esto nos parece una mejora con respecto a los modelos de animación de un solo cuadro anteriores.

Los esfuerzos de investigación de IA para animar una sola foto de una persona o personaje se remontan al menos a algunos años, pero más recientemente, los investigadores han trabajado para sincronizar automáticamente un video generado con una pista de audio. En febrero, un modelo de IA llamado EMO: Gesto de retrato viviente del grupo de investigación del Instituto de Computación Inteligente de Alibaba ha causado sensación con un enfoque similar al VASA-1 que puede sincronizar automáticamente una foto animada con una pista de audio proporcionada (lo llaman «Audio2Video»).

Capacitado en clips de YouTube.

Los investigadores de Microsoft entrenaron VASA-1 en el Conjunto de datos VoxCeleb2 creado en 2018 por tres investigadores de la Universidad de Oxford. Este conjunto de datos contiene “más de un millón de declaraciones de 6.112 celebridades”, según el sitio web VoxCeleb2, extraídas de vídeos subidos a YouTube. VASA-1 sería capaz de generar videos con una resolución de 512 x 512 píxeles a hasta 40 cuadros por segundo con una latencia mínima, lo que significa que podría usarse para aplicaciones en tiempo real como videoconferencias.

Para mostrar el modelo, Microsoft creó una página de investigación VASA-1 que muestra muchos ejemplos de vídeos de la herramienta en acción, incluidas personas cantando y hablando en sincronización con pistas de audio pregrabadas. Muestran cómo se puede controlar el modelo para expresar diferentes estados de ánimo o cambiar su apariencia. Los ejemplos también incluyen generaciones más elegantes, como Mona Lisa rapeando sobre una pista de audio de Anne Hathaway interpretando una Canción “Paparazzi” sobre Conan O'Brien.

Los investigadores dicen que, por razones de privacidad, cada fotografía de muestra en su página fue generada por IA. EstiloGAN2 o DALL-E 3 (aparte de la Mona Lisa). Pero está claro que la técnica también podría aplicarse a fotografías de personas reales, aunque es probable que funcione mejor si una persona parece una celebridad en el conjunto de datos de entrenamiento. Aún así, los investigadores dicen que su intención no es manipular a humanos reales.

«Exploramos la generación de habilidades visuales y afectivas para personajes virtuales e interactivos [sic], NO te hagas pasar por nadie en el mundo real. Esto es sólo una demostración de investigación y no hay planes de lanzamiento de productos ni API”, se lee en el sitio.

Si bien los investigadores de Microsoft promocionan posibles aplicaciones positivas, como mejorar la equidad educativa, mejorar la accesibilidad y brindar apoyo terapéutico, la tecnología también podría ser fácilmente utilizada indebidamente. Por ejemplo, podría permitir a las personas simular chats de vídeo, hacer que parezca que personas reales están diciendo cosas que en realidad nunca dijeron (especialmente cuando se combinan con una pista de voz clonada) o autorizar el acoso basado en una sola foto en las redes sociales.

En este momento, el video generado todavía parece imperfecto en algunos aspectos, pero podría ser bastante atractivo para algunas personas si no supieran qué esperar de la animación generada por IA. Los investigadores dicen que son conscientes de esto, razón por la cual no publican abiertamente el código que impulsa el modelo.

«Nos oponemos a cualquier comportamiento destinado a crear contenido engañoso o perjudicial para personas reales y nos gustaría aplicar nuestra técnica para avanzar en la detección de falsificaciones», escriben los investigadores. «Actualmente, los vídeos generados con este método todavía contienen artefactos identificables, y el análisis digital muestra que todavía hay una brecha para lograr la autenticidad de los vídeos reales».

VASA-1 es sólo una demostración de investigación, pero Microsoft está lejos de ser el único grupo que desarrolla una tecnología similar. Si nos basamos en la historia reciente de la IA generativa, es potencialmente sólo cuestión de tiempo antes de que una tecnología similar se convierta en código abierto y esté disponible gratuitamente, y lo más probable es que su realismo siga mejorando con el tiempo.

Razer acaba de lanzar el , sucesor del popular . Está repleto de mejoras, incluido un factor de forma más grande para acomodar dispositivos móviles más robustos como tabletas de 8 pulgadas e incluso algunos plegables. El controlador también ofrece compatibilidad con USB-C, por lo que debería funcionar con casi cualquier dispositivo, siempre que sea adecuado. Recuerde, incluso los productos Apple modernos.

Razer dice que el controlador fue «diseñado para ofrecer una experiencia de consola auténtica en la serie iPhone 15, iPad Mini y tabletas Android con pantallas de 8 pulgadas». Para ello, cuenta con la tecnología háptica Sensa HD patentada por la compañía, que incluye una bobina háptica cerca de cada mano para aumentar la inmersión. La compañía afirma que esta experiencia superará la que se encuentra con los controladores de consola tradicionales. El nuevo SDK de Interhaptics incluso permitirá a los desarrolladores «crear experiencias hápticas personalizadas».

Esta inmersión se mejora aún más con la integración con el sistema de iluminación Chroma RGB de Razer. Esto permite esquemas de iluminación personalizables, lo que permite a los jugadores llevar consigo «parte de la configuración de su sala de juegos». Más allá de la iluminación y la háptica, el controlador presenta los botones ABXY Mecha-Tactile patentados de la compañía y un D-pad de 8 direcciones. Hay disparadores de efecto Hall del tamaño de una consola, botones multifunción programables L4/R4 y joysticks de tamaño completo, completos con anillos antifricción. El factor de forma ampliado también significa que debería funcionar con la mayoría de los dispositivos sin tener que quitar la carcasa.

El controlador puede acceder a la aplicación Nexus sin suscripción de Razer, que genera una asignación de botones personalizada para miles de juegos compatibles en iOS y Android. Esto significa que será una experiencia plug and play para la gran mayoría del contenido disponible, sin tener que manipular la configuración de control. Además, la aplicación Nexus permite a los usuarios grabar y compartir juegos.

El Razer Kishi Ultra está disponible ahora y cuesta $150. Al controlador se le suma una versión actualizada del Kishi V2, que ahora se conecta a través de USB-C. Éste cuesta $100.

Esta publicación contiene enlaces afiliados; Si hace clic en dicho enlace y realiza una compra, podemos ganar una comisión.

La vela solar experimental de la NASA está lista para despegar hacia la órbita de la Tierra, utilizando la presión de la luz solar para probar un nuevo método de propulsión a través del cosmos.

El lanzamiento del Sistema Avanzado de Vela Solar Compuesta (ACS3) está programado para el martes 23 de abril a bordo del cohete Electron de Rocket Lab desde Nueva Zelanda. La misión utilizará por primera vez barreras compuestas en órbita terrestre, poniendo a prueba su capacidad para desplegar la vela en órbita.

El cohete desplegará los cubos del tamaño de un microondas a unas 600 millas (966 kilómetros) sobre la Tierra (más del doble de la altitud de la Estación Espacial Internacional), donde comenzará a desplegar su panel solar de vela para extenderse 30 pies (9 metros) en cada uno. lado. .

El proceso de despliegue durará aproximadamente 25 minutos y la NASA ha equipado la misión con un conjunto de cámaras digitales a bordo para capturar imágenes de la vela durante y después del despliegue para evaluar su forma y alineación.

Una vez desplegado, el sistema de vela solar tendrá aproximadamente el mismo tamaño que un pequeño estudio en Bushwick. La vela debe ser lo suficientemente grande para generar empuje de manera efectiva y estar en una órbita lo suficientemente alta como para poder ganar altitud y superar la resistencia atmosférica utilizando la pequeña fuerza de la luz solar sobre la vela, que equivale aproximadamente al peso de un clip colocado sobre ella. tu palma, según NASA.

La vela solar se desplegará utilizando cuatro brazos compuestos que abarcarán las diagonales del cuadrado para alcanzar 23 pies (7 metros) de largo. Funcionan de manera similar a la botavara de un velero, excepto que están diseñados para capturar el poder propulsor de la luz solar en lugar del viento. Las rampas compuestas están hechas de un material polimérico; son livianos pero rígidos y resistentes a doblarse y deformarse cuando se exponen a diferentes temperaturas.

La fase de vuelo inicial de la misión durará unos dos meses e incluirá una serie de maniobras de apuntamiento para demostrar la subida y bajada de la órbita utilizando únicamente la presión de la luz solar que actúa sobre la vela, escribió la NASA.

Las velas solares funcionan con fotones del Sol, provocando pequeñas ráfagas de impulso que impulsan la nave espacial más lejos de la estrella. Si una nave espacial puede superar la resistencia de la atmósfera terrestre, podría alcanzar altitudes muy elevadas.

En teoría, las velas solares pueden funcionar indefinidamente. Sin embargo, están limitados por la durabilidad de los materiales de las velas solares y los sistemas electrónicos de las naves espaciales. La sociedad planetaria Vela ligera 2 Se lanzó en junio de 2019 y ganó 3,2 kilómetros (2 millas) de altitud solo dos semanas después de desplegar su vela solar de 32 metros cuadrados (344 pies cuadrados). En noviembre de 2022, la misión finalizó tras comenzar a perder altitud y volvió a entrar en la atmósfera terrestre.

El legado de LightSail 2 ha inspirado varias otras misiones a su paso, incluida ACS3, así como Explorador NEA de la NASA misión a un asteroide cercano a la Tierra y El crucero solar de la NASA (planeado para su lanzamiento en 2025).

La tecnología de pluma compuesta utilizada para esta misión de demostración podría usarse para desplegar velas solares de hasta 500 metros cuadrados (5400 pies cuadrados), o aproximadamente el tamaño de una cancha de baloncesto.

Para más vuelos espaciales en tu vida, síguenos en X y agrega Gizmodo dedicado a tus favoritos Página de vuelos espaciales.