La ‘caja negra’ de la IA científica no es rival para el método de 200 años

Las transformadas de Fourier revelan qué tan bien la red neuronal profunda aprende física compleja.

Una de las herramientas más antiguas de la física computacional, una técnica matemática de 200 años conocida como análisis de Fourier – puede revelar información crucial sobre cómo una forma de inteligencia artificial llamada red neuronal profunda aprende a realizar tareas que involucran física compleja como modelar el clima y la turbulencia, según un nuevo estudio.

El descubrimiento realizado por investigadores de ingeniería mecánica de la Universidad de Rice se describe en un estudio de acceso abierto publicado en la revista Nexo PNASuna publicación hermana de procedimientos de la Academia Nacional de Ciencias.

«Este es el primer marco riguroso para explicar y guiar el uso de redes neuronales profundas para sistemas dinámicos complejos como el clima», dijo el autor correspondiente del estudio, Pedram Hassanzadeh. «Esto podría acelerar drásticamente el uso del aprendizaje científico profundo en la ciencia del clima y conducir a proyecciones mucho más confiables del cambio climático».

Los investigadores de la Universidad de Rice entrenaron una forma de inteligencia artificial llamada red neuronal de aprendizaje profundo para reconocer flujos complejos de aire o agua y predecir cómo cambiarán los flujos con el tiempo. Esta imagen ilustra las diferencias sustanciales en la escala de características que muestra el modelo durante el entrenamiento (arriba) y las características que aprende a reconocer (abajo) para hacer sus predicciones. Crédito: Imagen cortesía de P. Hassanzadeh/Universidad Rice

En el artículo, Hassanzadeh, Adam Subel y Ashesh Chattopadhyay, ambos exalumnos, y Yifei Guan, investigador asociado postdoctoral, detallaron su uso del análisis de Fourier para estudiar una red neuronal de aprendizaje profundo que ha sido entrenada para reconocer los complejos flujos de aire en el atmósfera. o agua en el océano y predecir cómo estos flujos cambiarían con el tiempo. Su análisis reveló «no solo lo que había aprendido la red neuronal, sino que también nos permitió conectar directamente lo que había aprendido la red con la física del sistema complejo que estaba modelando», dijo Hassanzadeh.

“Las redes neuronales profundas son tristemente dificil de entender ya menudo son vistos como ‘cajas negras’”, dijo. “Esta es una de las principales preocupaciones con el uso de redes neuronales profundas en aplicaciones científicas. La otra es la generalización: estas redes no pueden funcionar para un sistema diferente de aquel para el que fueron entrenadas. . »

El entrenamiento de redes neuronales profundas de última generación requiere una gran cantidad de datos, y la carga de reentrenamiento, con los métodos actuales, sigue siendo significativa. Después de entrenar y volver a entrenar una red de aprendizaje profundo para realizar diferentes tareas que involucran física compleja, los investigadores de la Universidad de Rice utilizaron el análisis de Fourier para comparar los 40,000 núcleos de las dos iteraciones y encontraron que más del 99% eran similares. Esta ilustración muestra los espectros de Fourier de los cuatro núcleos que diferían más antes (izquierda) y después (derecha) del reentrenamiento. Los resultados demuestran el potencial del método para identificar vías de reciclaje más eficientes que requieren muchos menos datos. Crédito: Imagen cortesía de P. Hassanzadeh/Universidad Rice

Hassanzadeh dijo que el marco analítico que presenta su equipo en el documento «abre la caja negra, nos permite mirar dentro para comprender qué han aprendido las redes y por qué, y también nos permite relacionar esto con la física del sistema que se ha aprendido». .

Subel, el autor principal del estudio, comenzó la investigación como estudiante universitario en Rice y ahora es estudiante de posgrado en[{» attribute=»»>New York University. He said the framework could be used in combination with techniques for transfer learning to “enable generalization and ultimately increase the trustworthiness of scientific deep learning.”

While many prior studies had attempted to reveal how deep learning networks learn to make predictions, Hassanzadeh said he, Subel, Guan and Chattopadhyay chose to approach the problem from a different perspective.

Pedram Hassanzadeh. Credit: Rice Universit

“The common machine learning tools for understanding neural networks have not shown much success for natural and engineering system applications, at least such that the findings could be connected to the physics,” Hassanzadeh said. “Our thought was, ‘Let’s do something different. Let’s use a tool that’s common for studying physics and apply it to the study of a neural network that has learned to do physics.”

He said Fourier analysis, which was first proposed in the 1820s, is a favorite technique of physicists and mathematicians for identifying frequency patterns in space and time.

“People who do physics almost always look at data in the Fourier space,” he said. “It makes physics and math easier.”

For example, if someone had a minute-by-minute record of outdoor temperature readings for a one-year period, the information would be a string of 525,600 numbers, a type of data set physicists call a time series. To analyze the time series in Fourier space, a researcher would use trigonometry to transform each number in the series, creating another set of 525,600 numbers that would contain information from the original set but look quite different.

“Instead of seeing temperature at every minute, you would see just a few spikes,” Subel said. “One would be the cosine of 24 hours, which would be the day and night cycle of highs and lows. That signal was there all along in the time series, but Fourier analysis allows you to easily see those types of signals in both time and space.”

Based on this method, scientists have developed other tools for time-frequency analysis. For example, low-pass transformations filter out background noise, and high-pass filters do the inverse, allowing one to focus on the background.

Adam Subel. Credit: Rice University

Hassanzadeh’s team first performed the Fourier transformation on the equation of its fully trained deep-learning model. Each of the model’s approximately 1 million parameters act like multipliers, applying more or less weight to specific operations in the equation during model calculations. In an untrained model, parameters have random values. These are adjusted and honed during training as the algorithm gradually learns to arrive at predictions that are closer and closer to the known outcomes in training cases. Structurally, the model parameters are grouped in some 40,000 five-by-five matrices, or kernels.

“When we took the Fourier transform of the equation, that told us we should look at the Fourier transform of these matrices,” Hassanzadeh said. “We didn’t know that. Nobody has done this part ever before, looked at the Fourier transforms of these matrices and tried to connect them to the physics.

“And when we did that, it popped out that what the neural network is learning is a combination of low-pass filters, high-pass filters and Gabor filters,” he said.

“The beautiful thing about this is, the neural network is not doing any magic,” Hassanzadeh said. “It’s not doing anything crazy. It’s actually doing what a physicist or mathematician might have tried to do. Of course, without the power of neural nets, we did not know how to correctly combine these filters. But when we talk to physicists about this work, they love it. Because they are, like, ‘Oh! I know what these things are. This is what the neural network has learned. I see.’”

Subel said the findings have important implications for scientific deep learning, and even suggest that some things scientists have learned from studying machine learning in other contexts, like classification of static images, may not apply to scientific machine learning.

“We found that some of the knowledge and conclusions in the machine learning literature that were obtained from work on commercial and medical applications, for example, do not apply to many critical applications in science and engineering, such as climate change modeling,” Subel said. “This, on its own, is a major implication.”

Reference: “Explaining the physics of transfer learning in data-driven turbulence modeling” by Adam Subel, Yifei Guan, Ashesh Chattopadhyay and Pedram Hassanzadeh, 23 January 2023, PNAS Nexus.
DOI: 10.1093/pnasnexus/pgad015

Chattopadhyay received his Ph.D. in 2022 and is now a research scientist at the Palo Alto Research Center.

The research was supported by the Office of Naval Research (N00014- 20-1-2722), the National Science Foundation (2005123, 1748958) and the Schmidt Futures program. Computational resources were provided by the National Science Foundation (170020) and the National Center for Atmospheric Research (URIC0004).

Space Camp es un programa reconocido internacionalmente que sumerge a los estudiantes en ciencia, tecnología, ingeniería y matemáticas a través de experimentos y simuladores basados ​​en la exploración espacial. Pero, ¿sabía que la aviación naval tiene un programa similar orientado a STEM? Esto tiene sentido dado que muchos astronautas volaron por primera vez como aviadores navales. Situado a bordo de la Estación Aeronaval de Pensacola, Florida, el Academia Nacional de Vuelo ofrece a los estudiantes un entorno de aprendizaje inmersivo y práctico como ningún otro.

La Academia Nacional de Vuelo ofrece tres programas de diferentes duraciones. Con una duración de seis días, el programa de verano insignia «Despliegue» ofrece a los estudiantes la experiencia más completa e inmersiva. Disponible para los grados 7-12, los estudiantes vivirán a bordo del portaaviones simulado AMBICIÓN. La instalación de varios pisos de 102,000 pies cuadrados reproduce el interior de un barco con una cocina, bahías de simulación y cabinas de atraque. Los estudiantes se dividen en escuadrones de 12 y están dirigidos por un asesor, llamado líder de vuelo. Es tan inmersivo que solo la adición de rodilleras o una noche gastronómica filipina podría hacerlo más realista.

a bordo de AMBICIÓNlos estudiantes se convierten AMBICIÓN Controladores experimentales (AXP). Después de registrarse, se les quitan los teléfonos y los AXP participan en un simulacro de hombre al agua para comenzar su tiempo a bordo del barco. «Todas esas cosas realmente venden la historia inmersiva», dijo a WATM el director ejecutivo de la NFA y aviador naval retirado Pat Everly. «Todos nuestros empleados… están en trajes de vuelo, están en uniforme, tratando de vender la historia de que estamos a bordo del portaaviones AMBICIÓN.” El barco simulado se convierte en el entorno de aprendizaje inmersivo definitivo para que los AXP aprendan y practiquen materias STEM.

Los AXP se familiarizan rápidamente con el barco y el avión simulador que pilotarán cuando se desplieguen. Al aprender cosas como la latitud y la longitud y las tasas de consumo de combustible, los AXP planificarán y volarán misiones como lo hacen los aviadores navales reales. Para mantener el campamento adecuado para la escuela, todas las misiones son de naturaleza humanitaria. «Estamos tratando de conseguir [students] entusiasmado con STEM y habilidades blandas como la formación de equipos, la colaboración y la comunicación”, dijo Everly. Con múltiples aeronaves y controladores de misión trabajando juntos, los AXP aprenden rápidamente la importancia de la comunicación y el trabajo en equipo.

Además de la instrucción en el aula y la información sobre la misión, la planificación y el vuelo, los estudiantes dejarán el AMBICIÓN para visitar el Museo de Aviación Naval de clase mundial al lado. Otra ventaja de estar a bordo de NAS Pensacola es que la Academia Nacional de Vuelo lleva a los estudiantes al hangar de catering de aeronaves, al Centro de Capacitación Técnica Aérea Naval e incluso a los espectáculos de práctica de los Blue Angels. «Es una oportunidad para mostrarles a los niños que existe una increíble gama de posibilidades que quizás aún no conozcan», señaló Everly. La Academia Nacional de Vuelo inspira, involucra y educa a los estudiantes con experiencias STEM inspiradas en la aviación, no solo en la aviación naval.

Un programa condensado de tres días, llamado «Crucero», también está disponible para estudiantes hasta el grado 5. Los AXP de crucero aún tendrán lecciones en el aula sobre temas como el clima y la aerodinámica y harán un buen uso de esas lecciones en misiones simuladas. Las “aventuras” de un día están abiertas a estudiantes a partir del 4º año. Introducen temas STEM en un entorno práctico y son perfectos para clases escolares u organizaciones juveniles. Las aventuras también se pueden transformar en pernoctaciones a bordo AMBICIÓN. Los cruceros y las aventuras están disponibles durante todo el año académico.

Aunque la Academia Nacional de Vuelo se encuentra a bordo de NAS Pensacola y está autorizada por la Marina de los Estados Unidos, es un programa de la Fundación del Museo de Aviación Naval y no está financiado por la Marina ni por el gobierno de los Estados Unidos. Sin embargo, la ubicación conjunta con la Escuela de Vuelo de la Marina permite que la Academia Nacional de Vuelo emplee marineros en servicio activo que esperan una clase de vuelo y estudiantes para servir como instructores voluntarios para sus programas. Everly contó la historia de un ex alumno de la Academia Nacional de Vuelo que se inspiró para convertirse en aviador naval y ahora es estudiante en la Universidad Aeronáutica Embry-Riddle y se ofrece como voluntario en el programa.

Desde su creación en 2012, aproximadamente 17 000 estudiantes de los Estados Unidos, sus territorios y otros 39 países han asistido a la Academia Nacional de Vuelo. Empresas como Delta Airlines y FedEx han patrocinado a estudiantes para que asistan a despliegues en los últimos años con capítulos locales de la Legión Americana y la Orden de los Daedalians. Si un estudiante tiene el más mínimo interés en la aviación, no hay nada como la Academia Nacional de Vuelo para mostrarle lo que es posible.

La mayor parte de la luz que atraviesa el Universo es invisible a los ojos humanos. Más allá de las longitudes de onda promedio que podemos ver, hay todo un cosmos que brilla en radiación de alta y baja energía.

Pero los humanos somos pequeños animales inteligentes y hemos logrado construir instrumentos que pueden ver la luz que nosotros no podemos. Uno de ellos es el Telescopio Espacial de Rayos Gamma Fermi de la NASA, un observatorio suspendido en la órbita terrestre baja, que monitorea los cielos en busca de rayos gamma, la luz más energética del Universo.

Fermi monitorea continuamente todo el cielo, observando las fuentes de rayos gamma y cómo cambian con el tiempo, proporcionando a los astrónomos un mapa de los diferentes productores de rayos gamma que podemos detectar. Estos datos se compilan en un catálogo que los científicos pueden usar para probar la producción de radiación gamma.

La animación muestra un año de radiación gamma fluctuante de 1525 fuentes, representada por círculos morados pulsantes, recopilada entre febrero de 2022 y febrero de 2023, y cada imagen representa tres días de observaciones. Cuanto más grande es el círculo, más brillante es la radiación gamma.

El círculo amarillo, por su parte, representa la trayectoria aparente del Sol en el cielo para este período.

«Para crear esta base de datos, nos inspiraron los astrónomos que estudian las galaxias y querían comparar las curvas de luz visible y gamma en escalas de tiempo prolongadas». dice el astrofísico Daniel Kocevski del Centro Marshall de Vuelos Espaciales de la NASA en Huntsville.

«Estábamos recibiendo solicitudes para procesar un objeto a la vez. Ahora la comunidad científica tiene acceso a todos los datos analizados para todo el catálogo».

La mayoría de las luces intermitentes que ves son de un tipo de galaxia conocida como blazars. Es un subconjunto de las galaxias cuásares. Un cuásar es una galaxia con un núcleo extremadamente activo, lo que significa que el agujero negro supermasivo está tragando materia a un ritmo vertiginoso. Este material se calienta por la actividad extrema alrededor del agujero negro, por lo que resuena en el espacio. Los cuásares emiten la luz más brillante del Universo.

Algunos de estos cuásares tienen chorros de plasma lanzados desde el núcleo galáctico. A medida que el agujero negro se alimenta, parte de la materia que se arremolina a su alrededor se desvía y acelera a lo largo de las líneas del campo magnético fuera del horizonte de sucesos. Cuando llega a los polos, este material se lanza al espacio a gran velocidad, a menudo acercándose a la velocidad de la luz en el vacío.

Un blazar es un quásar cuyo chorro apunta hacia o casi hacia la Tierra. Debido a esta orientación, la luz parece aún más brillante en todo el espectro. Los blazars son fuentes conocidas de radiación gamma, pero su luz fluctúa en escalas de tiempo bastante cortas; sus fluctuaciones pueden ayudar a los astrónomos a estudiar cómo se alimentan estos gigantes.

Combinado con otros datos, también puede ayudar a responder preguntas sobre el Universo. Por ejemplo, solo recientemente las detecciones de neutrinos por parte de observatorios como IceCube en la Antártida se remontan a las galaxias blazar.

Los blazares representan más del 90% de las fuentes de rayos gamma en la nueva incorporación al catálogo de rayos gamma de Fermi. Otros objetos que emiten radiación gamma incluyen un tipo de estrella de neutrones llamada púlsares, los restos de material irregular que quedan de las explosiones de supernovas y sistemas binarios como las estrellas de neutrones binarias.

Y está el brillo de rayos gamma del plano de la galaxia de la Vía Láctea, representado en la animación por una banda naranja que se extiende por el centro de la imagen. Allí, un color más brillante representa un brillo más radiante.

Se espera que las observaciones a largo plazo conduzcan a una mejor comprensión de algunos de los fenómenos asociados con las fuentes de rayos gamma. Por ejemplo, rastrear un neutrino hasta un período más brillante de actividad blazar podría ayudar a delimitar los procesos que producen estas misteriosas partículas.

«Tener una base de datos histórica de curvas de luz» dice la astrofísica Michela Negro de la Universidad de Maryland, condado de Baltimore, y el Centro de Vuelo Espacial Goddard de la NASA, «podría conducir a nueva información de múltiples mensajes sobre eventos pasados».

Y tenemos una idea de cómo podríamos ver el Universo si tuviéramos ojos extraterrestres.

El catálogo actualizado recientemente está disponible de forma gratuita en La serie de suplementos de la revista astrofísica.