Los sesgos en la inteligencia artificial

Hace unas semanas en Raccord, visionamos Sedmikrásky (Daisies) de Vera Chytilová, una película de culto checa de los años 60.

El problema es que no todos hablamos checo, y bueno, siendo una peli de culto, había que entenderla. El segundo problema: no hay subtítulos en español.

Mi solución a ambos problemas, fue crear los subtítulos en español con ayuda de inteligencia artificial.

Daisies trata de dos mujeres que aceptan su lado rebelde y provocador, que desafían las normas sociales. Pero, en la traducción con IA, algo pequeño, pero importante se perdió —o más bien, se transformó: todas las referencias a las protagonistas fueron traducidas en masculino. De repente, ellas se habían vuelto ellos.

Why?

La IA no entendió que las protagonistas eran dos mujeres. Y como la mayoria de la tecnología moderna, asumió el género masculino por defecto.

La importancia de los sesgos

Este error es un ejemplo claro de cómo los modelos de IA muchas veces amplifican los sesgos de los datos con los que fueron entrenados. En muchos idiomas, el masculino es considerado neutral, y si el modelo no tiene suficiente contexto, lo más probable es que asuma que un hombre blanco heterosexual es la norma.

A estas alturas, probablemnte, ya todos hemos experimentado tratando a ChatGPT como ella, para que dé mejores respuestas, y sea más amable y servicial. Como son las mujeres según los datos que se usaron para entrenar al modelo.

Pueden haber escuchado las historias de las primeras versiones de los modelos de conducción automatica, que cuando NO detectaban personas que no ueran caucasicas, es decir, si alguien como yo estaba frente al auto en movimiento, el sistema NO frenaba, en simple, no los detectaba. NRPI (No Real Person Involved) decian en Succesion.

El problema, como se descubrió, es que el algoritmo había sido entrenado con datos de imágenes de personas blancas predominaban. Así que el sistema no reconocía correctamente a personas de otras etnias.

El problema es que este tipo de errores, no son inocentes. Invisibilizan, distorsionan, y en este caso, cambian por completo la lectura de una obra profundamente feminista/disruptiva.

En el documental Coded Bias (2020) de Shalini Kantayya, se muestran peores ejemplos, algoritmos de reconocimiento facial que funcionan mal con personas de color, mujeres o ambos, no reconocen minorías. En el documental vemos cómo se descubrió que muchos de estos sistemas de visión simplemente no “ven” a ciertas personas —porque fueron entrenados principalmente con rostros blancos y masculinos.

Y no es un caso aislado. En el libro Weapons of Math Destruction, Cathy O’Neil habla de cómo los algoritmos de IA pueden perpetuar y amplificar la desigualdad social. Por ejemplo, en el sistema de justicia penal de EE.UU., los algoritmos que predicen la probabilidad de reincidencia han sido criticados por ser racistas y sesgados, ya que se basan en datos históricos que reflejan prejuicios raciales.

Y todo esto nos recuerda lo frágil que puede ser la promesa de neutralidad. El sesgo ya puede estar incrustado en los datos, las decisiones de diseño o las omisiones. ¿Qué podemos hacer?

Los sesgos en la IA no se eliminan, pero sí podemos visibilizarlos, corregirlos, hablar de ellos. Y, como en este caso, usarlos como oportunidad para reflexionar sobre quién entrena a la inteligencia artificial, con qué datos, y desde qué perspectiva.

Porque incluso en algo tan aparentemente básico como una traducción, hay ideología, cultura y decisiones humanas detrás. Category: Tecnología Crítica y Ética

Photo by waferboard on Wikicommons