APLICACIÓN DE MENSAJERÍA TELEGRAM está bajo presión para tomar medidas enérgicas contra un robot de IA que ha generado decenas de miles de imágenes no consensuadas de mujeres en su plataforma. Las fuerzas del orden están investigando la actividad de un bot deepfake , que se cree que se utilizó para producir imágenes explícitas de niñas menores de edad. Los reguladores de protección de datos en Italia también han abierto una investigación sobre su uso, y el acceso al bot se ha restringido en el iOS de Apple. El escrutinio de Telegram se produce cuando múltiples investigaciones sobre el uso del servicio de mensajería también han descubierto grupos privados que comparten fotos y videos de mujeres de "porno de venganza" no consensuados que no fueron generados por AI. Los informes de Estados Unidos, Italia, Corea del Sur e Israel han detallado cómo se ha utilizado Telegram para compartir imágenes abusivas durante el año pasado. Los investigadores afirman que Telegram no ha actuado contra el bot deepfake, que automatiza la creación de imágenes desnudas de mujeres. El bot usa una versión de la herramienta DeepNude AI, que se creó originalmente en 2019 , para quitar la ropa de las fotos de mujeres y generar partes de su cuerpo. Cualquiera puede usar fácilmente el bot para generar imágenes. El bot ha compartido públicamente más de 100.000 imágenes de este tipo en varios canales de chat de Telegram asociados. Estos canales contenían decenas de miles de miembros cada uno.
Cuando los investigadores de la firma de seguridad Sensity descubrieron el bot en Telegram a principios de este año, lo informaron a la aplicación de mensajería. La esperanza era que la plataforma de chat expulsara el bot y pusiera fin a la forma en que las mujeres estaban siendo abusadas con la tecnología. Sin embargo, esto no ha sucedido. Desde que Sensity reveló la existencia del bot en octubre, los grupos que lo usaron para compartir imágenes lo han ocultado. "En realidad, ahora es más difícil llegar al bot", dice Giorgio Patrini, director ejecutivo y científico jefe de Sensity. "Los grupos que anunciaban los bots en Telegram básicamente se han quedado en silencio". Varios grupos que usaron el bot han cambiado sus nombres para evitar ser identificados. Muchos de los canales ahora comparten otro contenido relacionado con la tecnología deepfake en general, y su propietario borró una galería pública de imágenes "desnudas" creadas por el bot. Y algunos de los canales se han desvanecido por completo.
Aunque los grupos alrededor del bot no están publicando sobre él actualmente, todavía existe y continúa funcionando. "El bot nunca ha sido derribado por nadie", dice Patrini. "Desde que salimos a bolsa, el bot todavía está operativo y todavía lo está". En un caso, el creador del bot dijo que el bot seguirá operando bajo el radar. El creador, cuya identidad se desconoce, no respondió a una solicitud de comentarios. A fines de octubre, el bot de Telegram se volvió inaccesible en iPhone y iPads y mostró un mensaje que decía que violaba la sección 1.1 de las pautas para desarrolladores de Apple. Las reglas de Apple dicen que “material abiertamente sexual o pornográfico” no está permitido en aplicaciones accesibles a través de la App Store. Desde entonces, ese mensaje dentro de Telegram ha sido reemplazado por una advertencia genérica que dice que el bot no se puede mostrar.
Apple no respondió a las preguntas sobre Telegram o si le dijo a la compañía que estableciera restricciones. Apple dice que no puede bloquear contenido o mostrar mensajes en aplicaciones que no son de su propiedad, pero que notifica a los desarrolladores si encuentra contenido que va en contra de las reglas de la App Store. Estas reglas dicen que las aplicaciones que contienen texto, fotos o videos cargados por personas también deben incluir una forma de filtrar el material "objetable" para que no se publique. El bot todavía está disponible en dispositivos Android y la aplicación Mac de Telegram.
En un chat grupal de Telegram sobre el bot, su propietario dice que Telegram ha bloqueado las menciones de su nombre. Sin embargo, WIRED no pudo confirmar esto ni ninguna acción tomada por Telegram. Ni el portavoz de Telegram ni el fundador del servicio, Pavel Durov, respondieron a las solicitudes de comentarios. La compañía, que se cree que tiene su sede en Dubai pero que tiene servidores en todo el mundo, nunca ha comentado públicamente sobre el daño causado por el bot de Telegram o su posición continua para permitirle operar.
Desde su fundación en 2013, Telegram se ha posicionado como un espacio privado para la libertad de expresión, y periodistas y activistas de todo el mundo han utilizado su modo cifrado de extremo a extremo para proteger la privacidad y evadir la censura. Sin embargo, la aplicación de mensajería ha tenido problemas con contenido problemático. En julio de 2017, Telegram dijo que crearía un equipo de moderadores para eliminar el contenido relacionado con el terrorismo después de que Indonesia lo amenazó con prohibirlo. Apple también lo eliminó temporalmente de su App Store en 2018 después de encontrar contenido inapropiado en la plataforma. “Creo que [Telegram] tienen una perspectiva muy libertaria hacia la moderación del contenido y cualquier tipo de gobernanza en su plataforma”, dice Mahsa Alimardani, investigador del Oxford Internet Institute. Alimardani, quien ha trabajado con activistas en Irán, señala que Telegram notifica a sus usuarios sobre una versión falsa de la aplicación creada por las autoridades del país. “Parece que las veces que realmente han actuado, es cuando las autoridades estatales se han involucrado”. El 23 de octubre, el organismo de protección de datos de Italia, Garante per la Protezione dei dati Personali, abrió una investigación sobre Telegram y le pidió que proporcionara datos. En un comunicado, el regulador dijo que las imágenes de desnudos generadas por el bot podrían causar un "daño irreparable" a sus víctimas. Desde que los funcionarios italianos abrieron su investigación, Patrini ha realizado más investigaciones en busca de bots deepfake en Telegram. Dice que hay una serie de bots en italiano que parecen ofrecer las mismas funcionalidades que el que Sensity encontró anteriormente, sin embargo, no parecen estar funcionando.
Una investigación separada de académicos de la Universidad de Milán y la Universidad de Turín también encontró redes de grupos de Telegram en italiano, algunos de los cuales eran privados y solo se podía acceder a ellos por invitación, compartiendo imágenes íntimas no consensuadas de mujeres que don ' No implican tecnología deepfake. Algunos grupos que encontraron tenían más de 30,000 miembros y requerían que los miembros compartieran imágenes no consensuales o fueran eliminados del grupo. Un grupo se centró en compartir imágenes de mujeres que fueron tomadas en lugares públicos sin su conocimiento.
“Telegram debe mirar hacia adentro y hacerse responsable”, dice Honza Červenka, abogado del bufete de abogados McAllister Olivarius, que se especializa en imágenes y tecnología no consensuadas. Červenka dice que se necesitan nuevas leyes para obligar a las empresas de tecnología a proteger mejor a sus usuarios y reprimir el uso de tecnología de automatización abusiva. "Si continúa ofreciendo la API de Telegram Bot a los desarrolladores, debería instituir una tienda oficial de bots y certificar los bots de la misma manera que lo hacen Apple, Google y Microsoft para sus tiendas de aplicaciones". Sin embargo, Červenka agrega que hay poca presión gubernamental o legal para que Telegram tome este tipo de paso. Patrini advierte que la tecnología deepfake avanza rápidamente, y el bot de Telegram es una señal de lo que es probable que suceda en el futuro. El bot de Telegram fue la primera vez que este tipo de abuso de imagen se ha visto a una escala tan grande, y es fácil de usar para cualquiera, no se necesita experiencia técnica. También fue una de las primeras veces que los miembros del público fueron atacados con tecnología deepfake. Anteriormente, las celebridades y las figuras públicas eran el objetivo de la pornografía con IA no consensuada. Pero a medida que la tecnología se democratiza cada vez más, se descubrirán más casos de este tipo de abuso en línea, dice.
“Esta fue una investigación, pero estamos encontrando este tipo de abusos en varios lugares de Internet”, explica Patrini. "Hay, a menor escala, muchos otros lugares en línea donde se roban o filtran imágenes y se reutilizan, modifican, recrean y sintetizan, o se usan para entrenar algoritmos de inteligencia artificial para crear imágenes que usan nuestras caras sin que lo sepamos".