La IA podría ampliar la respuesta humanitaria, pero también tiene desventajas

NUEVA YORK (AP) — Mientras el Comité Internacional de Rescate enfrenta aumentos dramáticos en el número de personas desplazadas en los últimos años, la organización de ayuda a refugiados ha buscado eficiencias donde sea posible, incluyendo el uso de inteligencia artificial.

Desde 2015, el CIR ha invertido en Signpost, un portafolio de aplicaciones móviles y canales de redes sociales que responden preguntas en diferentes idiomas para personas en situaciones peligrosas. El proyecto Signpost, que incluye a muchas otras organizaciones, ha alcanzado hasta ahora a 18 millones de personas, pero el CIR quiere aumentar significativamente su alcance utilizando herramientas de inteligencia artificial, si pueden hacerlo de manera segura.

Conflictos, emergencias climáticas y dificultades económicas han incrementado la demanda de asistencia humanitaria, con más de 117 millones de personas desplazadas por la fuerza en 2024, según la agencia de refugiados de las Naciones Unidas. El giro hacia las tecnologías de inteligencia artificial está en parte impulsado por la enorme brecha entre las necesidades y los recursos.

Para alcanzar su objetivo de llegar a la mitad de las personas desplazadas dentro de tres años, el CIR está probando una red de chatbots que funcionan con IA para ver si pueden aumentar la capacidad de sus oficiales humanitarios y las organizaciones locales que atienden directamente a las personas a través de Signpost. Por ahora, el proyecto piloto opera en El Salvador, Kenia, Grecia e Italia y responde en 11 idiomas. Utiliza una combinación de modelos de lenguaje amplio de algunas de las mayores compañías tecnológicas, incluyendo OpenAI, Anthropic y Google.

El sistema de respuesta del chatbot también utiliza software de servicio al cliente de Zendesk y recibe apoyo diverso de Google y Cisco Systems.

Si deciden que las herramientas funcionan, el CIR quiere extender la infraestructura técnica a otras organizaciones humanitarias sin fines de lucro sin costo alguno. Esperan crear recursos tecnológicos compartidos que organizaciones menos enfocadas técnicamente podrían usar sin tener que negociar directamente con las compañías tecnológicas o gestionar los riesgos de la implementación.

“Estamos tratando de ser realmente claros sobre dónde están las preocupaciones legítimas, pero inclinarnos hacia el optimismo de las oportunidades y no permitir que las poblaciones a las que servimos queden rezagadas en soluciones que tienen el potencial de escalar de una manera que el contacto humano a humano u otra tecnología no puede”, dijo Jeannie Annan, jefa de Investigación e Innovación del CIR.

Las respuestas e información que los chatbots de Signpost entregan son verificadas por organizaciones locales para que estén actualizadas y sean sensibles a las circunstancias precarias en las que las personas pudieran encontrarse. Un ejemplo de consulta que compartió el CIR es de una mujer de El Salvador que viaja con su hijo por México hacia Estados Unidos buscando refugio y servicios para ambos. El bot proporciona una lista de proveedores en el área donde ella se encuentra.

Las consultas más complejas o sensibles son escaladas para que las respondan humanos.

El inconveniente más importante de estas herramientas sería que no funcionen. Por ejemplo, ¿qué pasa si la situación en el terreno cambia y el chatbot no lo sabe? Podría proporcionar información que no solo es incorrecta, sino peligrosa.

Un segundo problema es que estas herramientas pueden acumular un valioso tesoro de datos sobre personas vulnerables que actores hostiles podrían utilizar. ¿Qué pasa si un hacker logra acceder a datos con información personal o si esos datos se comparten accidentalmente con un gobierno opresivo?

El CIR dijo que ha acordado con los proveedores de tecnología que ninguno de sus modelos de IA será entrenado con los datos que el comité, las organizaciones locales o las personas a las que están sirviendo están generando. También han trabajado para dar anonimato a los datos, incluyendo la eliminación de información personal y ubicación.

Como parte del proyecto Signpost.AI, el comité también está probando herramientas como un tutor automático digital y mapas que pueden integrar tipos diferentes de datos para ayudar a prepararse y responder a las crisis.

Cathy Petrozzino, quien trabaja para la empresa de investigación y desarrollo sin fines de lucro MITRE, dijo que las herramientas de IA tienen un alto potencial, pero también muchos riesgos. Para usar estas herramientas de manera responsable, dijo, las organizaciones deberían preguntarse, ¿funciona la tecnología? ¿Es justa? ¿Están protegidos los datos y la privacidad?

También enfatizó que las organizaciones necesitan convocar a una variedad de personas para ayudar a gobernar y diseñar la iniciativa, no solo expertos técnicos, sino personas con un profundo conocimiento del contexto, expertos legales y representantes de los grupos que usarán las herramientas.

“Hay muchos buenos modelos en el cementerio de la IA”, dijo, “porque no se trabajaron en conjunto y colaboración con la comunidad de usuarios”.

Para cualquier sistema que tenga el potencial de impactar vidas, Petrozzino dijo, los grupos deberían traer expertos externos para evaluar sus metodologías de forma independiente. Los diseñadores de herramientas de IA necesitan considerar los otros sistemas con los que interactuará, dijo, y necesitan planificar para monitorear el modelo con el tiempo.

Consultar con personas desplazadas y otras a los que dan servicio las organizaciones humanitarias puede aumentar el tiempo y esfuerzo necesarios para diseñar estas herramientas, pero no tener su aporte plantea muchos problemas de seguridad y éticos, dijo Helen McElhinney, directora ejecutiva de CDAC Network. Esto también permite acceder a conocimiento local.

Las personas que reciben servicios de organizaciones humanitarias deberían ser informadas si un modelo de IA analizará cualquier información que entreguen, dijo, incluso si la intención es ayudar a la organización a responder mejor. Eso requiere un consentimiento significativo e informado, dijo. También deberían saber si un modelo de IA está tomando decisiones importantes para su vida sobre la asignación de recursos y dónde recae la responsabilidad de esas decisiones, dijo.

Degan Ali, directora general de Adeso, una organización sin fines de lucro en Somalia y Kenia, ha sido desde hace tiempo defensora de cambiar la dinámica de poder en el desarrollo internacional para dar más dinero y control a las organizaciones locales. Se pregunta cómo el CIR y otros que buscan estas tecnologías superarán los problemas de acceso, destacando los cortes de energía de una semana causados por el huracán Helene en Estados Unidos. Los chatbots no ayudarán cuando no haya dispositivo, internet o electricidad, dijo.

Ali también advirtió que pocas organizaciones locales tienen la capacidad de asistir a grandes conferencias humanitarias donde se debaten la ética de la IA. Pocos tienen personal lo suficientemente senior y con suficiente conocimiento para realmente participar en estas discusiones, dijo, aunque entienden el posible poder e impacto que estas tecnologías pueden tener.

“Debemos ser extraordinariamente cuidadosos para no replicar desequilibrios de poder y sesgos a través de la tecnología”, dijo Ali. “Las preguntas más complejas siempre requerirán experiencia local, contextual y vivida para responder de manera significativa”.

___

The Associated Press y OpenAI tienen un acuerdo de licencia y tecnología que permite a OpenAI acceder a parte de los archivos de texto de la AP.

___

La cobertura de filantropía y ONGs de The Associated Press recibe apoyo a través de la colaboración de AP con The Conversation US, con financiación de Lilly Endowment Inc. La AP es la única responsable de este contenido.

___

Esta historia fue traducida del inglés por un editor de AP con la ayuda de una herramienta de inteligencia artificial generativa.