Hace unas semanas, Sharon Maxwell escuchó que la Asociación Nacional de Trastornos de la Alimentación (NEDA) estaba cerrando su línea de ayuda nacional de larga data y promoviendo un chatbot llamado Tessa como «un recurso de prevención significativo» para las personas con trastornos de la alimentación. Decidió probar el chatbot ella misma.

Maxwell, que reside en San Diego, luchó durante años con un trastorno alimentario que comenzó en la infancia. Ahora trabaja como consultora de trastornos alimentarios. «Hola, Tessa», escribió en el cuadro de texto de la línea. “¿Cómo se ayuda a las personas con trastornos alimentarios? »

Tessa elaboró ​​una lista de ideas, incluidos recursos para «hábitos alimenticios saludables». Las campanas de alarma sonaron de inmediato en la cabeza de Maxwell. Le pidió a Tessa más detalles. En poco tiempo, el chatbot le estaba dando consejos para perder peso, que se parecían mucho a lo que le habían dicho cuando la pusieron en Weight Watchers a los 10 años.

“Las recomendaciones que me dio Tessa fueron que podía perder de 1 a 2 libras por semana, que no debía comer más de 2000 calorías por día, que debía tener un déficit calórico de 500 a 1000 calorías por día”, explica Maxwell. . «Todo esto puede parecer benigno para el auditor general. Sin embargo, para alguien con un trastorno alimentario, el enfoque en la pérdida de peso realmente alimenta el trastorno alimentario».

Maxwell lo compartió preocupaciones en las redes sociales, ayudando a iniciar una controversia en línea que llevó a NEDA a anunciar el 30 de mayo que desactivaría a Tessa indefinidamente. Les patients, les familles, les médecins et d’autres experts des troubles de l’alimentation ont été stupéfaits et déconcertés par la façon dont un chatbot conçu pour aider les personnes souffrant de troubles de l’alimentation pourrait finir par dispenser des conseils diététiques à la plaza.

El alboroto también ha provocado una nueva ola de debate a medida que las empresas buscan en la inteligencia artificial (IA) una posible solución a una creciente crisis de salud mental y una grave escasez de proveedores de tratamiento clínico.

Un chatbot de repente en el centro de atención

NEDA ya había sido objeto de un intenso escrutinio después de que NPR informara el 24 de mayo que el grupo de defensa nacional sin fines de lucro estaba línea de ayuda cerrada después de más de 20 años de funcionamiento.

La directora ejecutiva, Liz Thompson, informó a los voluntarios de la línea de ayuda sobre la decisión en un correo electrónico del 31 de marzo, diciendo que NEDA «comenzaría a girar hacia el uso ampliado de la tecnología asistida por IA para proporcionar a las personas y familias un recurso moderado y totalmente automatizado, Tessa».

«Vemos los cambios de la línea de ayuda a Tessa y nuestro sitio web ampliado como parte de una evolución, no de una revolución, respetuosa del panorama en constante cambio en el que operamos».

(Thompson siguió con una declaración el 7 de junio, diciendo que en el «intento de NEDA de compartir noticias importantes sobre decisiones separadas con respecto a nuestra Línea de Ayuda de Información y Referencia y Tessa, las dos decisiones separadas pueden haberse confundido, causando confusión. No fue nuestro intención de sugerir que Tessa podría proporcionar el mismo tipo de conexión humana que la línea directa ofrecida»).

El 30 de mayo, menos de 24 horas después de que Maxwell proporcionara a NEDA capturas de pantalla de su inquietante conversación con Tessa, la organización sin fines de lucro anuncio había «retirado» el chatbot «hasta nuevo aviso».

NEDA dice que no sabía que el chatbot podía crear nuevas respuestas

NEDA culpó de los problemas emergentes del chatbot a Cass, un empresa de chatbots de salud mental que operaba Tessa como un servicio gratuito. Cass había cambiado a Tessa sin el conocimiento o la aprobación de NEDA, según el director ejecutivo Thompson, lo que permitió que el chatbot generara nuevas respuestas más allá de lo que pretendían los creadores de Tessa.

«Por diseño, no podía descarrilarse», dice Ellen Fitzsimmons – Artesanía, psicóloga clínica y profesora de la Facultad de Medicina de la Universidad de Washington en St. Louis. Craft ayudó a liderar el equipo que construyó Tessa por primera vez con fondos de NEDA.

La versión de Tessa que probaron y estudiaron era un chatbot basado en reglas, lo que significa que solo podía usar una cantidad limitada de respuestas escritas previamente. “Éramos muy conscientes de que la IA no está lista para esta población”, dice. «Así que todas las respuestas estaban preprogramadas».

El fundador y director ejecutivo de Cass, Michiel Rauws, le dijo a NPR que los cambios en Tessa se realizaron el año pasado como parte de una «actualización de sistemas», que incluye una «funcionalidad mejorada de preguntas y respuestas». Esta característica utiliza inteligencia artificial generativa, lo que significa que le da al chatbot la capacidad de usar nuevos datos y crear nuevas respuestas.

Este cambio fue parte del contrato NEDA, dice Rauws.

Pero la directora ejecutiva de NEDA, Liz Thompson, le dijo a NPR en un correo electrónico que «NEDA nunca se enteró de estos cambios y no los aprobó ni los habría aprobado».

«El contenido que recibieron algunos evaluadores con respecto a la cultura alimentaria y el control del peso puede ser perjudicial para las personas con trastornos alimentarios, va en contra de la política de NEDA y nunca habría sido escrito en el chatbot por los expertos en trastornos alimentarios, los Drs. Barr Taylor y Ellen Fitzsimmons Craft», escribió. .

Las quejas sobre Tessa comenzaron el año pasado

NEDA ya estaba al tanto de algunos problemas con el chatbot meses antes de que Sharon Maxwell publicara sus interacciones con Tessa a fines de mayo.

En octubre de 2022, NEDA envió capturas de pantalla de Monika Ostroff, directora ejecutiva de la Asociación de Trastornos de la Alimentación de Servicios Múltiples (MEDA) en Massachusetts.

Mostraron a Tessa diciéndole a Ostroff que evite los alimentos «poco saludables» y que solo coma refrigerios «saludables», como frutas. «Es muy importante que encuentres los bocadillos saludables que más te gustan, así que si no es fruta, ¡prueba otra cosa!» Tessa le dijo a Ostroff. «Entonces, la próxima vez que sienta hambre entre comidas, intente optar por eso en lugar de un refrigerio poco saludable como una bolsa de papas fritas. ¿Cree que puede hacer eso?»

En una entrevista reciente, Ostroff dijo que era un claro ejemplo del chatbot que fomenta la mentalidad de «cultura de la dieta». «Eso significaba que ellos [NEDA] o escribieron esos guiones ellos mismos, obtuvieron el chatbot y no se molestaron en asegurarse de que fuera seguro y no lo probaron, o lo lanzaron y no lo probaron», dijo.

El lenguaje de los bocadillos saludables se eliminó rápidamente después de que Ostroff lo señalara. Pero Rauws dice que el lenguaje problemático era parte del «lenguaje preescrito de Tessa y no relacionado con la IA generativa».

Fitzsimmons-Craft niega que su equipo haya escrito esto. «[That] no era algo que nuestro equipo diseñó para Tessa y… no era parte del programa basado en reglas que diseñamos originalmente».

Luego, a principios de este año, Rauws dice que «ocurrió un evento similar como otro ejemplo».

«Esta vez se trataba de nuestra funcionalidad mejorada de preguntas y respuestas, que se basa en un modelo generativo. Cuando NEDA nos informó que un texto de respuesta [Tessa] proporcionado no cumplió con sus pautas, y se trató de inmediato. »

Rauws dice que no puede proporcionar más detalles sobre lo que implicó ese evento.

“Este es otro caso anterior, y no el mismo caso que el fin de semana del Día de los Caídos”, dijo en un correo electrónico, refiriéndose a las capturas de pantalla de Maxwell. «De acuerdo con nuestra política de privacidad, esto se relaciona con los datos del usuario relacionados con una pregunta planteada por una persona, por lo que primero tendríamos que obtener la aprobación de esa persona».

Cuando se le preguntó sobre este evento, Thompson dice que no sabe a qué instancia se refiere Rauws.

A pesar de sus desacuerdos sobre qué sucedió y cuándo, NEDA y Cass se disculparon.

Ostroff dice que no importa qué salió mal, el impacto en alguien con un trastorno alimentario es el mismo. «No importa si está basado en reglas [AI] o generativo, todo es fatofóbico”, dice. “Tenemos enormes poblaciones de personas que se ven afectadas por este tipo de lenguaje todos los días.

También le preocupa lo que podría significar para las decenas de miles de personas que recurren a la línea de ayuda de NEDA cada año.

«Entre NEDA desconectando su línea de ayuda y su desastroso chatbot… ¿qué estás haciendo con toda esta gente?»

Thompson dice que NEDA todavía ofrece muchos recursos para las personas que buscan ayuda, incluido un herramienta de visualización Y mapa de recursosy desarrolla nuevos programas en línea y presenciales.

«Reconocemos y lamentamos que ciertas decisiones tomadas por NEDA hayan decepcionado a miembros de la comunidad de trastornos alimentarios», dijo en un comunicado enviado por correo electrónico. «Al igual que todas las demás organizaciones centradas en los trastornos alimentarios, los recursos de NEDA son limitados y esto nos obliga a tomar decisiones difíciles… Siempre deseamos poder hacer más y seguimos comprometidos a hacerlo mejor».