Ocultas dentro de las bases de populares generadores de imágenes de inteligencia artificial hay miles de imágenes de abuso sexual infantil, según un nuevo informe que insta a las empresas a tomar medidas para atender una falla dañina en la tecnología que construyeron.

Esas mismas imágenes han facilitado la producción, con los sistemas de inteligencia artificial (IA), de imágenes realistas y explícitas de niños falsos, y también que transformen fotos de redes sociales de adolescentes reales y completamente vestidos en desnudos, para alarma de las escuelas y las autoridades de todo el mundo.

Hasta hace poco, los investigadores antiabuso pensaban que la única forma en que algunas herramientas de inteligencia artificial no controladas producían imágenes de abuso infantil era esencialmente combinando lo que habían aprendido de dos grupos separados de imágenes en línea: pornografía adulta y fotografías inocentes de niños.

Pero el Observatorio de Internet de Stanford encontró más de 3 mil 200 imágenes de presuntos abusos sexuales infantiles en la gigantesca base de datos de inteligencia artificial LAION, un índice de imágenes con pie de foto en línea que se ha utilizado para entrenar a los principales generadores de imágenes de IA, como Stable Diffusion. El grupo de vigilancia con sede en la Universidad de Stanford trabajó con el Centro Canadiense para la Protección Infantil y otras organizaciones de beneficencia contra el abuso para identificar el material ilegal y reportar los enlaces originales de las fotografías a las autoridades.

La respuesta fue inmediata. El miércoles, en vísperas de la publicación del informe del Observatorio de Internet de Stanford, LAION anunció a The Associated Press que estaba eliminando temporalmente sus conjuntos de datos.

LAION, siglas en inglés de la organización sin fines de lucro Red Abierta de Inteligencia Artificial a Gran Escala, dijo en un comunicado que “tiene una política de tolerancia cero para el contenido ilegal, y que, por precaución extrema, hemos eliminado los conjuntos de datos de LAION para garantizar que sean seguros antes de volver a publicarlos”.

Si bien las imágenes representan solo una fracción del índice de LAION de unas 5.800 millones de imágenes, el grupo de Stanford dice que probablemente influya en la capacidad de las herramientas de IA para generar resultados dañinos y reforzar el abuso previo de víctimas reales que aparecen múltiples veces.

No es un problema fácil de resolver, y se remonta a que muchos proyectos de IA generativa fueron “de hecho lanzados apresuradamente al mercado” y los hicieron ampliamente accesibles porque el campo es muy competitivo, dijo David Thiel, director general de tecnología del Observatorio de Internet de Stanford, autor del informe.

“Tomar una parte completa de internet y usar ese conjunto de datos para entrenar modelos es algo que debería haber quedado confinado a una operación de investigación, si acaso, y no es algo que debería haber sido de código abierto sin una atención mucho más rigurosa”, agregó Thiel en una entrevista.

Una de las principales usuarias de LAION que ayudó a dar forma al desarrollo del conjunto de datos es la startup Stability AI, con sede en Londres, que desarrolló los modelos generativos de texto a imagen de Stable Diffusion. Por medio de las nuevas versiones de Stable Diffusion, es mucho más difícil crear contenido dañino, pero una versión anterior introducida el año pasado —que Stability AI dice que no lanzó al público— todavía está integrada en otras aplicaciones y herramientas y es aún “el modelo más popular para generar contenido dañino”, según el informe de Stanford.

“No podemos retirarlo. Ese modelo está en manos de muchas personas en sus computadoras locales”, dijo Lloyd Richardson, director de tecnología de la información del Centro Canadiense para la Protección Infantil, que gestiona la línea telefónica directa de Canadá para denunciar la explotación sexual en línea.

Stability AI dijo el miércoles que en sus servidores solo hay versiones filtradas de Stable Diffusion y que “desde que asumimos el desarrollo exclusivo de Stable Diffusion, Stability AI ha tomado medidas proactivas para mitigar el riesgo del uso indebido”.

“Esos filtros eliminan el contenido inseguro e impiden que llegue a los modelos”, refirió la empresa en una declaración preparada. “Al eliminar ese contenido antes de que llegue al modelo, podemos ayudar a evitar que el modelo genere contenido inseguro”.

LAION fue creada por Christoph Schuhmann, investigador y profesor alemán, quien dijo a la AP a principios de este año que parte de la razón de hacer pública una base de datos visual tan grande era para garantizar que el futuro del desarrollo de la IA no fuera controlado por un puñado de empresas poderosas.

“Será mucho más seguro y mucho más justo si podemos democratizarlo para que toda la comunidad de investigación y todo el público en general se pueda beneficiar de eso”, agregó.

Gran parte de los datos de LAION provienen de otra fuente, Common Crawl, un repositorio de datos constantemente recopilados del internet abierto, pero Rich Skrenta, director ejecutivo de Common Crawl, dijo que “correspondía” a LAION escanear y filtrar lo que tomaba antes de hacer uso de ello.

LAION informó esta semana que desarrolló “filtros rigurosos” para detectar y eliminar contenido ilegal antes de publicar sus conjuntos de datos y que todavía trabaja para mejorar esos filtros. El informe de Stanford reconoció que los desarrolladores de LAION hicieron algunos intentos para filtrar contenido explícito de “menores de edad”, pero podrían haber hecho un mejor trabajo si hubieran consultado antes con expertos en seguridad infantil.

Muchos generadores de texto a imagen se derivan de alguna manera de la base de datos LAION, aunque no siempre es claro cuáles son. OpenAI, desarrollador de DALL-E y ChatGPT, dijo que no utiliza LAION y ha hecho ajustes a sus modelos para rechazar solicitudes de contenido sexual que involucre a menores.

Google creó Imagen —su modelo de imagen a texto— con base en un conjunto de datos de LAION, pero decidió no hacerlo público en 2022 luego de que una auditoría de la base de datos “descubrió una amplia gama de contenido inapropiado, incluidas imágenes pornográficas, insultos racistas y estereotipos sociales dañinos”.

Intentar eliminar los datos retroactivamente es difícil, por lo que el Observatorio de Internet de Stanford pide medidas más drásticas. Una es que cualquiera que haya construido conjuntos de entrenamiento a partir de LAION-5B —llamado así por los más de 5.000 millones de pares imagen-texto que contiene— “los elimine o trabaje con intermediarios para limpiar el material”. Otra es hacer que una versión anterior de Stable Diffusion desaparezca de todos lados, excepto los rincones más oscuros de internet.

“Las plataformas legítimas pueden dejar de ofrecer versiones de él para descargar”, especialmente si son utilizadas con frecuencia para generar imágenes de abuso y no tienen medidas de seguridad para bloquearlas, dijo Thiel.

Como ejemplo, Thiel mencionó a CivitAI, una plataforma preferida por las personas que crean pornografía generada por IA, pero que, explica, carece de medidas de seguridad para compararla con la creación de imágenes de niños. El informe también pide a la empresa de IA Hugging Face, que distribuye datos de entrenamiento para los modelos, que implemente mejores métodos para reportar y eliminar enlaces a material de abuso.

Hugging Face dijo que trabaja periódicamente con reguladores y grupos de seguridad infantil para identificar y eliminar material abusivo. CivitAI no respondió solicitudes de comentarios enviadas a su sitio web.

El informe de Stanford también cuestiona que fotografías de niños —incluídas las más benignas e inocentes—, sean introducidas en los sistemas de IA sin el consentimiento de sus familias dado el amparo de laLey federal de Protección de la Privacidad Infantil En Línea.

Rebecca Portnoff, directora de ciencia de datos de Thorn, una organización que desarrolla productos contra el abuso sexual infantil, dijo que su organismo ha realizado investigaciones que muestran que la prevalencia de imágenes generadas por IA entre los abusadores es pequeña, pero que crece constantemente.

Los desarrolladores pueden mitigar estos daños si se aseguran de que los conjuntos de datos que utilizan para desarrollar modelos de IA están libres de material de abuso. Portnoff dijo que también hay oportunidades para mitigar los usos nocivos en el futuro, cuando los modelos ya están en circulación.

Actualmente, las empresas de tecnología y los grupos de seguridad infantil asignan a los videos e imágenes un “hash” —una firma digital única— para rastrear y eliminar material de abuso infantil. Según Portnoff, el mismo concepto se puede aplicar a los modelos de IA de los que se hace un mal uso.

“Eso no está sucediendo actualmente”, dijo. “Pero es algo que, en mi opinión, puede y debe hacerse”.