KUALA LUMPUR, Malasia (AP) — Malasia e Indonesia se convirtieron en los primeros países en bloquear Grok, el chatbot de inteligencia artificial desarrollado por la compañía xAI de Elon Musk, luego que las autoridades afirmaran que se estaba utilizando indebidamente para generar imágenes sexualmente explícitas y no consensuadas.

Estas medidas reflejan la creciente preocupación global sobre las herramientas de IA generativa que pueden producir imágenes, sonidos y textos realistas, al tiempo que las salvaguardas existentes no logran prevenir su abuso. El chatbot Grok, al que se accede a través de la red social X de Musk, ha sido criticado por generar imágenes manipuladas, incluidas representaciones de mujeres en bikini o poses sexualmente explícitas, así como imágenes que involucran a niños.

La semana pasada, Grok limitó la generación y edición de imágenes a usuarios de pago tras una reacción global contra los videos sexualizados de personas manipulados de forma digital —conocidos como deepfakes—, pero los críticos aseguran que no abordó completamente el problema.

Una solicitud de comentarios enviada por correo electrónico por The Associated Press a xAI resultó en una respuesta automática de la dirección de correo electrónico de soporte de medios que decía: "Legacy Media Lies" (Mentiras de los medios heredados). Este fue el mismo mensaje recibido de un correo electrónico diferente cuando se solicitó un comentario sobre la reacción global.

Los reguladores de las dos naciones del sudeste asiático dijeron que los controles existentes no estaban impidiendo la creación y difusión de contenido pornográfico falso, particularmente involucrando a mujeres y menores. El gobierno de Indonesia bloqueó temporalmente el acceso a Grok el sábado, seguido por Malasia el domingo.

“El gobierno considera que los deepfakes sexuales no consensuados son una violación grave de los derechos humanos, la dignidad y la seguridad de los ciudadanos en el espacio digital”, afirmó en un comunicado el sábado la ministra de Comunicación y Asuntos Digitales de Indonesia, Meutya Hafid.

El Ministerio indicó que la medida tenía como objetivo proteger a las mujeres, los niños y la comunidad en general del contenido pornográfico falso generado mediante IA.

Alexander Sabar, director general de supervisión del espacio digital, señaló en un comunicado separado que los hallazgos iniciales mostraron que Grok carece de salvaguardas efectivas para evitar que los usuarios creen y distribuyan contenido pornográfico basado en fotos reales de residentes indonesios. Añadió que tales prácticas corren el riesgo de violar la privacidad y los derechos de imagen cuando las fotos son manipuladas o compartidas sin consentimiento, causando daño psicológico, social y reputacional.

En Kuala Lumpur, la Comisión de Comunicaciones y Multimedia de Malasia ordenó una restricción temporal sobre Grok el domingo después de lo que describió como un "uso indebido repetido" de la herramienta para generar imágenes obscenas, sexualmente explícitas y manipuladas sin consentimiento, incluyendo contenido que involucra a mujeres y menores.

El regulador dijo que los avisos emitidos este mes a X Corp. y xAI exigiendo salvaguardas más fuertes recibieron respuestas que dependían principalmente de mecanismos de reporte por parte de los usuarios.

"La restricción se impone como una medida preventiva y proporcionada al tiempo que los procesos legales y regulatorios están en curso", señaló, añadiendo que el acceso permanecerá bloqueado hasta que se implementen salvaguardas efectivas.

Investigación iniciada en el Reino Unido

Lanzado en 2023, Grok es de uso gratuito en X. Los usuarios pueden hacerle preguntas en la plataforma de redes sociales y etiquetar publicaciones que hayan creado directamente o respuestas a publicaciones de otros usuarios. El verano pasado, la compañía añadió una función generadora de imágenes, Grok Imagine, que incluía un llamado "modo picante" que puede generar contenido para adultos.

Las restricciones en el sudeste asiático se producen en medio de un creciente escrutinio de Grok en otros lugares, incluyendo la Unión Europea, Reino Unido, India y Francia.

El lunes, el regulador de medios del Reino Unido informó que lanzó una investigación formal para determinar si Grok “cumplió con sus deberes de proteger a las personas en el Reino Unido de contenido que es ilegal”.

El regulador, Ofcom, subrayó que las imágenes generadas por Grok de niños siendo sexualizados o personas siendo desvestidas pueden equivaler a pornografía o material de abuso sexual infantil.

"El contenido creado y compartido usando Grok en los últimos días ha sido profundamente perturbador", dijo la secretaria de Tecnología, Liz Kendall.