Connect with us

Ciencia y tecnología

La ventaja de rendimiento del renderizado Foveated en Quest Pro

Published

on

La ventaja de rendimiento del renderizado Foveated en Quest Pro

Quest Pro es compatible con el renderizado foveal de seguimiento ocular, pero ¿exactamente cuánto mejora el rendimiento?

Si no está familiarizado con el término, Eye Tracking Foveal Rendering (ETFR) es una técnica en la que solo la región de la pantalla que está mirando en ese momento se representa a resolución completa, lo que libera rendimiento ya que el resto tiene una resolución más baja. Este rendimiento adicional se puede utilizar para mejorar la fidelidad de los gráficos en las aplicaciones o para una resolución base más alta.

No notas la baja resolución en la periferia porque el ojo humano solo puede ver alta resolución en el mismo centro: la fóvea. Por eso no puedes leer una página de texto sin mover la mirada. Lo crea o no, esta área foveal tiene solo unos 3 grados de ancho.

Agudeza visual humana

ETFR ha sido considerado durante mucho tiempo un «santo grial» para VR, porque si su GPU realmente solo tuviera que renderizar 3 grados de su campo de visión a resolución completa, la ganancia de rendimiento podría ser del orden de 20x. Esto permitiría pantallas de ultra alta resolución o gráficos increíblemente detallados. Pero en realidad, lograr esto requeriría Perfecto seguimiento ocular con latencia cero, una frecuencia de actualización de pantalla absurdamente alta y una algoritmo de reconstrucción de alta calidad para que no notes el parpadeo y el parpadeo.

Quest Pro es el primer casco de expedición de Meta con seguimiento ocular. La latencia de extremo a extremo de esta tecnología de seguimiento ocular de primera generación es del orden de 50 milisegundos, y la frecuencia de actualización de la pantalla alcanza un máximo de 90 Hz. Foveal está lejos de ser 20x.

Compatible con metaauriculares Fijado Render Fove (FFR) – representación de los bordes de la lente en menor resolución, desde Oculus Go hace seis años. Dentro una conversación esta semana dada a los desarrolladores, Meta detalló los beneficios de rendimiento exactos de registro visual Render Fove (ETFR) y lo comparó con el FFR.

READ  No podemos ignorar a la rana en este helado de conejito azul

Los desarrolladores habilitan ambos tipos de renderizado foveal por aplicación (aunque obviamente no se pueden usar ambos al mismo tiempo). Los desarrolladores tienen tres opciones para la reducción de la resolución del borde: Nivel 1, Nivel 2 y Nivel 3. Con el Nivel 1 de ETFR, el borde se renderiza con 4 veces menos píxeles, mientras que en el Nivel 3 la mayor parte del tiempo tiene 16 veces menos píxeles.

El beneficio de rendimiento exacto del renderizado foveal también depende de la resolución base de la aplicación. Cuanto mayor sea la resolución, mayor será el ahorro.

En la aplicación de referencia de Meta, encontraron que con la resolución predeterminada, el FFR ahorra entre un 26 % y un 36 % de rendimiento dependiendo del nivel de foveación, mientras que el nuevo ETFR ahorra entre un 33 % y un 45 %.

Pero a 1,5 veces la resolución predeterminada, los ahorros fueron mayores, con un FFR del 34 % al 43 % y un ETFR del 36 % al 52 %. Este es un impulso de hasta 2 veces en comparación con la ausencia total de foveación, pero solo una pequeña ventaja sobre FFR.

Por supuesto, lo que realmente importa es lo que aún no sabemos: cómo perceptible Cuáles son cada uno de estos niveles de ETFR? ¿Y cómo se compara eso con lo notable que es el FFR? Esto es lo que debe compararse, no un nivel determinado de FFR con el mismo nivel de ETFR. Es algo que probaremos en detalle para nuestra revisión de Quest Pro.

En la misión 2, el nivel 1 de FFR no se nota en absoluto, pero el nivel 3 definitivamente lo es. Y de Quest Pro tiene lentes más nítidas tanto en el centro como en los bordes, el FFR puede ser más visible que nunca, lo que hace que el ETFR sea aún más ventajoso.

READ  Se informa que el iPhone 16 vuelve a tener cámaras alineadas verticalmente, probablemente para video espacial

En PlayStation VR2, el supuesto beneficio de rendimiento del renderizado foveal es mayor. reclamos de sony su FFR ahorra alrededor del 60 %, mientras que su ETFR ahorra alrededor del 72 %. Esto probablemente se deba a las arquitecturas de GPU muy diferentes de las GPU de consola y PC en comparación con las GPU móviles, así como a la resolución más alta. También podría deberse a diferencias en la tecnología de seguimiento ocular: Meta es interna mientras que Sony usar tobii.

Eye Tracking en Quest Pro y PlayStation VR2 es opcional por motivos de privacidad. Pero deshabilitarlo también deshabilitará ETFR, por lo que las aplicaciones tendrán que recurrir a FFR.

Soy un profesional de gestión deportiva con conocimientos adecuados sobre la industria del deporte en España. Tengo varias habilidades que me han ayudado a trabajar en diferentes sectores del deporte en España, incluyendo eventos deportivos, desarrollo de base para el deporte e infraestructura deportiva.

Continue Reading
Click to comment

Leave a Reply

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Ciencia y tecnología

Los creadores del corto basado en Sora explican las fortalezas y limitaciones del video generado por IA

Published

on

Los creadores del corto basado en Sora explican las fortalezas y limitaciones del video generado por IA

Créditos de imagen: niños tímidos

La herramienta de generación de video de OpenAI, Sora, sorprendió a la comunidad de IA en febrero con un video fluido y realista que parece muy por delante de sus competidores. Pero el debut cuidadosamente organizado omitió muchos detalles, detalles que fueron completados por un cineasta al que se le concedió acceso anticipado para crear un cortometraje utilizando a Sora.

Shy Kids es un equipo de producción digital con sede en Toronto que fue seleccionado por OpenAI como uno de los pocos producir cortometrajes principalmente con fines promocionales de OpenAI, aunque tenían una libertad creativa considerable creando una “cabeza de aire”. En un entrevista con el medio de noticias de efectos visuales fxguideEl artista de postproducción Patrick Cederberg describió «realmente usar a Sora» como parte de su trabajo.

Quizás la conclusión más importante para la mayoría es simplemente esta: aunque el artículo de OpenAI que destaca los cortos deja al lector asumir que surgieron más o menos completamente formados de Sora, la realidad es que se trataba de producciones profesionales, completas con guiones gráficos, edición y corrección de color y trabajos posteriores como rotoscopia y VFX. Al igual que Apple dice «filmado con iPhone» pero no muestra la configuración del estudio, la iluminación profesional y el trabajo de color después del hecho, la publicación de Sora solo habla de lo que permite hacer a las personas, no de la forma en que realmente lo hicieron.

La entrevista de Cederberg es interesante y poco técnica, así que si estás interesado, ve a fxguide y léelo. Pero aquí hay algunas cosas interesantes sobre el uso de Sora que nos dicen que, por muy impresionante que sea, el modelo puede ser un salto menos gigante de lo que pensábamos.

El control sigue siendo en esta etapa lo más deseable y también lo más difícil de alcanzar. …Lo mejor que pudimos conseguir fue ser hiperdescriptivos en nuestras indicaciones. Explicar el vestuario de los personajes, así como el tipo de globo, fue nuestra forma de garantizar la coherencia, porque plano a plano/generación en generación, todavía no existe una función para un control total sobre la coherencia.

En otras palabras, cuestiones simples en el cine tradicional, como elegir el color de la ropa de un personaje, requieren soluciones y controles elaborados en un sistema generativo, porque cada plano se crea independientemente de los demás. Obviamente, esto podría cambiar, pero ciertamente hay mucho más trabajo en este momento.

READ  Google revela una nueva interfaz de Gmail que ya no es un desastre abarrotado

cartel de youtube

Los resultados de Sora también tuvieron que ser monitoreados para detectar elementos no deseados: Cederberg describió cómo el modelo generaba regularmente en el globo una cara que el personaje principal tiene como cabeza, o un hilo que colgaba delante de él. Estos tenían que ser eliminados por correo, otro proceso tedioso, si no recibían el mensaje para excluirlos.

Realmente no es posible lograr tiempos y movimientos precisos de los personajes o de la cámara: «Hay un pequeño control temporal sobre dónde suceden estas diferentes acciones en la generación real, pero no es preciso…c «Es una especie de disparo en la oscuridad», Cederberg dicho.

Por ejemplo, cronometrar un gesto como un saludo es un proceso muy aproximado y basado en sugerencias, a diferencia de las animaciones manuales. Y una toma como una panorámica sobre el cuerpo del personaje puede reflejar o no lo que quiere el cineasta, por lo que en este caso el equipo representó una toma compuesta en orientación vertical y recortó en posproducción. Los clips generados también a menudo estaban en cámara lenta sin ningún motivo en particular.

Ejemplo de un disparo como sale de Sora y como acabó en el corto. Créditos de imagen: niños tímidos

De hecho, el uso de lenguaje cinematográfico común como «pan right» o «dolly» era generalmente inconsistente, dijo Cederberg, lo que el equipo encontró bastante sorprendente.

«Los investigadores, antes de acercarse a los artistas para jugar con esta herramienta, en realidad no pensaban como cineastas», dijo.

Como resultado, el equipo ejecutó cientos de generaciones, cada una de las cuales duró entre 10 y 20 segundos, y terminó usando solo unas pocas. Cederberg estimó la proporción en 300:1, pero, por supuesto, probablemente a todos nos sorprendería la proporción en una sesión fotográfica normal.

READ  No podemos ignorar a la rana en este helado de conejito azul

el equipo en realidad Hice un pequeño video detrás de escena. explicando algunos de los problemas que encontraron, si tiene curiosidad. Como gran parte del contenido adyacente a la IA, Los comentarios son bastante críticos con todo el proyecto. – pero no tan virulenta como la publicidad impulsada por IA que hemos visto ridiculizada recientemente.

cartel de youtube

La última cuestión interesante se refiere a los derechos de autor: si le pides a Sora que te regale un clip de “Star Wars”, él se negará. Y si intentas eludirlo con «un hombre vestido con una espada láser en una nave espacial retro-futurista», también se negará, porque mediante algún mecanismo reconoce lo que estás intentando hacer. También se negó a hacer un “plano de Aronofsky” o un “zoom de Hitchcock”.

Por un lado, tiene mucho sentido. Pero eso plantea la pregunta: si Sora sabe qué es, ¿eso significa que el modelo fue entrenado en ese contenido para reconocer mejor que está infringiendo? OpenAI, que mantiene sus tarjetas de datos de entrenamiento en secreto, hasta el punto de lo absurdo, como ocurre con Entrevista de la CTO Mira Murati con Joanna Stern – Es casi seguro que nunca nos lo dirá.

En cuanto a Sora y su uso en el cine, es claramente una herramienta poderosa y útil en su lugar, pero su lugar no es «crear películas desde cero». De nuevo. Como dijo otro villano, “eso viene después”.

Continue Reading

Ciencia y tecnología

El evento iPad 'Let Loose' de Apple también incluirá un evento especial en Londres

Published

on

El evento iPad 'Let Loose' de Apple también incluirá un evento especial en Londres

Apple celebrará un evento especial el 7 de mayo, durante el cual se espera que «se deje llevar» y lance grandes cambios en la línea iPad. En un giro interesante, parece que también habrá un evento paralelo organizado por Apple en Londres ese día.

¿Un evento de Apple en Londres?

En su cobertura del anuncio del evento de Apple hace unos días, el Independiente incluyó este dato:

Apple retransmitirá el lanzamiento en vídeo en directo en todo el mundo, pero irá acompañado de un evento en Londres, lo que podría explicar el lanzamiento inusualmente temprano. La compañía casi ha realizado sus lanzamientos en California, y hacerlo en el Reino Unido representa una ruptura con la tradición.

Sobre las discusiones, Joe Rossignol dice que «confirmó que Apple organizará una reunión de varios días para conocidos periodistas, blogueros y creadores de contenido de redes sociales en Londres» para el evento «Let Loose» del 7 de mayo.

“Habrá participantes de varios países europeos e incluso de Australia. Creo que se llevará a cabo en Apple Battersea y habrá tiempo práctico con nuevos productos”, dice Joe.

El evento en Londres, por supuesto, será sólo por invitación y no estará abierto al público.

Tomar de 9to5Mac

Para el evento «Scary Fast» de octubre centrado en Mac, Apple no celebró un evento presencial en Cupertino. Sin embargo, invitó a la prensa y a influencers a algunas ciudades del mundo para ver el vídeo del evento y familiarizarse con los productos.

Es probable que esto sea lo que suceda en última instancia con el evento “Let Loose” del próximo mes, pero esta vez también con una reunión en persona en Londres. Esto también podría explicar en parte el horario extraño del evento a las 7 a. m. PT/10 a. m. ET, que son las 3 p. m. ET en Londres.

READ  Gurman: Se espera que los nuevos iPads y Mac se lancen a finales de marzo

Más que cualquier otra cosa, esto podría ser una señal de que Vision Pro está a punto de debutar fuera de los Estados Unidos. Durante el evento también esperamos el lanzamiento de un nuevo iPad Pro, iPad Air, Magic Keyboard y Apple Pencil.

¡Veremos! Todavía queda poco más de una semana para que sea oficialmente el momento de soltarse…

Seguir oportunidad: Temas, Gorjeo, InstagramY Mastodonte.

FTC: Utilizamos enlaces de afiliados automáticos que generan ingresos. Más.

Continue Reading

Ciencia y tecnología

Wear OS 5, que llegará este año, muestra que Google finalmente está avanzando con los relojes inteligentes

Published

on

Wear OS 5, que llegará este año, muestra que Google finalmente está avanzando con los relojes inteligentes

Que quieres saber

  • Antes del Google I/O del próximo mes, Google reveló un cronograma preliminar para las sesiones de desarrolladores.
  • Una de estas sesiones es una vista previa de Wear OS 5 y es la primera confirmación oficial de Google de que llegará una actualización de Wear OS este año.
  • La descripción de la sesión “Construyendo el futuro de Wear OS” incluye algunos detalles preliminares sobre lo que traerá la actualización.

Google I/O 2024 está pasando rápidamente a primer plano, ya que el evento comienza en unas pocas semanas y podría traer nuevos anuncios de hardware y software de Google. La compañía nos dio nuestra primera idea real de qué esperar cuando lanzó un Calendario preliminar de E/S 2024 el jueves 25 de abril. Este cronograma incluye la confirmación anticipada de que pronto estará disponible una actualización de Wear OS.

Hay cuatro categorías principales de eventos en Google I/O este año: móvil, web, ML/AI y nube. Una de las sesiones móviles se titula “Construyendo el futuro de Wear OS«, y enumera explícitamente Wear OS 5, la versión inédita de Wear OS que se espera que llegue este año, como un objetivo. En enero, se detectaron referencias a Wear OS 5 en una versión de Android 14, lo que insinúa que se estaba realizando una actualización.

Continue Reading

Trending