Instagram ha lanzado una nueva tecnología para reconocer el contenido de autolesiones y suicidios en su aplicación en el Reino Unido y Europa.
Las nuevas herramientas pueden identificar imágenes y palabras que rompan sus reglas sobre publicaciones dañinas.
Hará que las publicaciones sean menos visibles en la aplicación y, en casos extremos, las eliminará automáticamente.
Facebook, propietario de Instagram, dijo que era un "paso importante", pero la empresa quería hacer "mucho más".
El jefe de Instagram, Adam Mosseri, detalló el nuevo sistema, que utiliza inteligencia artificial, en una publicación de blog en su sitio web .
Remisión humana
La tecnología ya existe fuera de Europa en Facebook e Instagram.
Las publicaciones identificadas como dañinas por el algoritmo pueden ser referidas a moderadores humanos, quienes eligen si toman más medidas, incluida la dirección del usuario para ayudar a las organizaciones e informar a los servicios de emergencia.
Pero Instagram le dijo a la agencia de noticias Press Association del Reino Unido que la referencia humana no formaba parte actualmente de las nuevas herramientas en el Reino Unido y Europa debido a consideraciones de privacidad de datos vinculadas al Reglamento General de Protección de Datos (GDPR).
La firma de redes sociales dijo que implementar un proceso de referencia sería su próximo paso.
"En la UE en este momento, solo podemos usar esa combinación de tecnología sofisticada y elemento de revisión humana si un miembro de la comunidad nos informa una publicación directamente", dijo la directora de políticas públicas de Instagram en Europa, Tara Hopkins.
Agregó que debido a que en un pequeño número de casos un revisor humano emitiría un juicio sobre si enviar recursos adicionales a un usuario, los reguladores podrían considerarlo como una "evaluación de salud mental" y, por lo tanto, como parte de una categoría especial. datos, que recibe una mayor protección bajo GDPR.
Facebook e Instagram han sido objeto de críticas en los últimos años por la falta de regulación sobre el material de suicidio y autolesión.
Los temores sobre el impacto de este contenido en personas jóvenes y vulnerables se han suscitado desde el suicidio de Molly Russell, una colegiala de 14 años.
El padre de Molly, Ian, ha dicho anteriormente que los "algoritmos agresivos" de las redes sociales "ayudaron a matar a mi hija".
título de los mediosDespués de que Molly Russell se quitó la vida, su familia descubrió material angustioso sobre el suicidio en su cuenta de Instagram
En septiembre, compañías de redes sociales como Facebook, Instagram, Google, YouTube, Twitter y Pinterest acordaron las pautas publicadas por la organización benéfica de salud mental Samaritans, en un esfuerzo por establecer estándares de la industria sobre el tema.
"Si bien hemos visto una serie de pasos positivos en la dirección correcta en los últimos meses, sabemos que todavía hay más trabajo por hacer para abordar el contenido dañino en línea", dijo Lydia Grace, gerente del programa de Samaritans para daños en línea. .
"Necesitamos una regulación para garantizar que las plataformas tecnológicas tomen medidas rápidas para eliminar el contenido dañino y que puedan utilizar las herramientas a su disposición para hacerlo, al tiempo que garantizan que los usuarios vulnerables puedan acceder al contenido de apoyo cuando lo necesiten.
"Nuestro Programa de excelencia en línea tiene como objetivo desarrollar un centro de excelencia en la prevención del suicidio y el entorno en línea. Como parte de esto, recientemente lanzamos nuestras nuevas pautas para la industria de la tecnología para ayudar a los sitios y plataformas a crear espacios en línea más seguros al minimizar el acceso a contenido dañino relacionado con las autolesiones y el suicidio, y maximizando las oportunidades de apoyo ".
Pero Instagram dijo que también quería ser un lugar donde los usuarios pudieran admitir que habían considerado autolesionarse o suicidarse.
"Está bien admitir eso y queremos que haya un espacio en Instagram y Facebook para esa admisión", agregó la Sra. Hopkins.
"Los expertos nos dicen que esto puede ayudar a desestigmatizar los problemas relacionados con el suicidio. Es un acto de equilibrio y estamos tratando de llegar al lugar correcto donde podamos brindar ese tipo de plataforma en ese espacio, al tiempo que mantenemos a las personas a salvo de ver este tipo de contenido si son vulnerables ".
Para obtener información y apoyo sobre la salud mental y el suicidio, acceda a BBC Action Line
Este ES un paso adelante, pero incluso un conocedor de Instagram me admitió que solo representaba un "progreso limitado".
Entonces, ¿qué ha cambiado realmente?
Bueno, antes de hoy en la UE, los complejos algoritmos de Instagram solo podían buscar imágenes, ahora pueden rastrear tanto imágenes como texto.
Eso es realmente importante porque una imagen aparentemente inocente puede ir acompañada de una redacción que infrinja las pautas.
Una vez encontradas, esas publicaciones se eliminarán de la función "Explorar", lo que las hará más difíciles pero no imposibles de encontrar.
También significa que las peores publicaciones se eliminarán automáticamente después de 24 horas.
Pero la verdad es que incluso después de estos cambios, los usuarios de la UE no estarán protegidos de los contenidos dañinos de la misma manera que los del resto del mundo.
Los algoritmos que analizan publicaciones fuera de la UE envían automáticamente las sospechosas directamente a moderadores humanos para una decisión final. Dentro de la UE eso todavía no sucederá.
Eso se debe a que los reguladores de datos europeos están preocupados por la capacidad de Instagram para respetar las reglas de privacidad.
Aparte de la privacidad, Instagram a nivel mundial todavía está luchando con un complejo acto de equilibrio.
¿Cómo permite que los grupos de apoyo y aquellos en recuperación publiquen sobre autolesiones y suicidio?
Al mismo tiempo que protege a sus usuarios más vulnerables, muchos de ellos niños.