Trabajo:Análisis de sesgos sobre un algoritmo de medición de toxicidad - colaboración con Newtral

Introducción

El objetivo de este proyecto de impacto social es ayudar a una entidad que haga una labor social como es el caso de la detección y concienciación de las fake news. Dicha entidad, con la que hemos tenido la suerte de colaborar, ha sido con una de los medios de comunicación de fact checking más famosos de este ámbito en España, Newtral.

¿Qué es Newtral?

Resumidamente, Newtral realiza varias iniciativas con el fin de transparentar y verificar la información que existe sobre ciertos políticos y noticias en general.

Primer contacto con Newtral

Al principio creímos que sería algo imposible contactar con ellos pero una vez nos decidimos a hacerlo, nos respondieron de forma cordial y rápida. Nuestro primer contacto con Newtral fue en una reunión en la que comentamos cómo podríamos brindar nuestra ayuda hacia esta asociación, con esto sacamos dos conclusiones: Ayudar en el aspecto de la educación social o en uno más tecnológico y práctico. Nos decantamos por este segundo, decidiendo buscar información sobre sesgos que pueda tener el algoritmo que estaban desarrollando sobre la toxicidad que pueden generar ciertas citas en redes sociales.

Trabajo a realizar

Nuestra tarea es ayudar a esta empresa a encontrar ciertos sesgos sobre la identificación de toxicidad en un algoritmo que recoge datos de twitter.

Originalidad

Proyecto en desarrollo pionero en detección de toxicidad en redes sociales

Impacto

Feedback para Newtral

Evolución del proyecto

Para empezar con este trabajo necesitábamos hacer uso de una base de datos o dataset más o menos grande, con lo que poder analizar y sacar conclusiones de estos sesgos y dar nuestro feedback a la empresa. Esto nos lo facilitó Newtral, dándonos un fichero csv con más de 13.000 tweets de políticos españoles, además de ciertas guías e información sobre el algoritmo que usa google y el que usan ellos.

Con esto, nuestro trabajo empezó obteniendo la media de toxicidad de los partidos políticos principales en España y ordenándolos de mayor a menor, de aquí tendríamos un punto de partida de donde sacar conclusiones sobre dónde indagar para poder extraer ciertos sesgos posteriormente.

Para encontrar dichos sesgos, utilizamos la api de Newtral (toxic tweets in spanish politics) en la que poder comprobar a mano diferentes textos que compartan similitudes para poder separarlos y clasificarlos. Algunas de las palabras que aparecían en estos textos, los cuales en cuanto el algoritmo las reconocía las marcaba como tóxicas o muy tóxicas, son las siguientes:

• “Comunistas”
  
• “Fascistas”
  
• “Señala”
  
• “Obstáculo”
  
• “La Derecha” / “La Izquierda”
  
• “Las élites”
  
• “Todo”
  

Además de palabras, terminamos descubriendo que dependiendo del formato en el que esté el texto y su ortografía, los resultados podrían cambiar en algunos casos desmedidamente. Por ejemplo, el algoritmo diferencia entre frases bien escritas y escritas erróneamente, sesgo que tiene sentido cuando pensamos en una persona que escribe dicha frase para hacer mofa de alguien o algo, pero no debería ser así con frases sin tildar o sin signos de puntuación ya que es un fallo ortográfico muy común.

Otra diferenciación que encontramos fue al probar la frase “odio a...” seguido de cualquier colectivo (transexuales, homosexuales, heterosexuales...), lo cual resultaba en que al insertar un colectivo protegido, este lo reconoció con más toxicidad que uno no tan protegido. Asimismo, el agregar un signo de exclamación al final de la frase, reducía su toxicidad.

Por último, otros sesgos que encontramos más razonables, fueron los siguientes: La diferenciación entre mayúsculas y minúsculas (la toxicidad es mayor cuantas más mayúsculas haya, ya que coloquialmente simula un grito) y el aumento de signos de interrogación (la toxicidad es directamente proporcional al número de interrogaciones).

Agradecimientos

Al equipo de Newtral, sobre todo a los miembros con los que hemos tenido más contacto:

• Rubén Míguez Pérez
  
• Javier Beltrán Jorba
  
• Sara Estévez Manteiga
  

Integrantes del grupo de trabajo

• Pablo Daurell Marina
  
• Belén García Puente
  
• Ela Katherine Shepherd Arévalo
  
• Miquel Vera Ramis
  
• Alberto García Doménech
  
• Fernando Bellot Rodríguez
  
• Mateo González de Miguel