Sesgos en la inteligencia artificial: cómo se reproduce la discriminación de género en algoritmos

Un algoritmo que aprendió a asociar imágenes de artefactos domésticos con mujeres y otro que cuando es consultado por personas destacadas o idóneas para ciertas profesiones sólo ofrece el perfil de varones: dos ejemplos que ayudan a pensar cómo se reproduce la discriminación por razones de género en los datos -sociales e históricos- con los que se entrena la inteligencia artificial (IA), cuyos impactos en la vida de mujeres y LGBTIQ+ son abordados por especialistas en diálogo con Télam.

Que la IA está cada vez más presente en la vida cotidiana no es algo nuevo, aunque sí su capacidad de dar respuestas a demandas cada vez más complejas como generar textos académicos, imágenes o producciones artísticas casi indistinguibles de las que podría producir una persona humana.

Se logra a través de las técnicas de aprendizaje automático, o machine learning, con las que se entrena a la IA para que pueda emular comportamientos o generar predicciones o recomendaciones a partir de una gran cantidad de datos y con diversos grados de autonomía.

El problema es que, si nunca hubo -o no se reconoce- la participación de mujeres y LGBTIQ+ en determinados ámbitos de la vida y, por ende, no existen datos que den cuenta de eso, probablemente la IA reproducirá por defecto este tipo de disparidades.

Esto ocurre porque "se suele pensar a los datos como algo objetivo, olvidando que son el producto de relaciones sociales subjetivas y asimétricas”, explicó Victoria Dumas, directora del equipo de Ciencia de Datos e Inteligencia Artificial de la Fundación Sadosky.

En diálogo con Télam, enfatizó en la necesaria "formación y sensibilización en sesgos (de género, de clase, de raza) para las personas que están a cargo de diseñar y programar los algoritmos de IA", en tanto que solo podrán desarrollar sistemas que no discriminen "si son capaces de identificar y dominar sus propios sesgos inconscientes”.

No es extraño, entonces, que ante la consulta a un chatbot por el nombre de personas destacadas de la filosofía, por ejemplo, la respuesta sea un listado sólo de hombres, dado que “estadísticamente las mujeres filósofas están subrepresentadas en los datos de entrenamiento”, ejemplificó.

Esto es particularmente problemático por el creciente uso de estas respuestas "inteligentes" en distintos ámbitos, incluso educativos y laborales.

Tiempo atrás, la empresa Amazon tuvo que retirar un software de reclutamiento de personas trabajadoras que discriminaba a las mujeres de sus ofertas en puestos técnicos, al haber sido entrenada con “los perfiles de solicitantes de (esos) empleos en los últimos años, que en su mayoría eran hombres”.

Los modelos de IA conocen cómo somos y cómo fuimos como sociedad, pero no saben hacia dónde queremos ir, y en esto está la clave donde es necesario que accionemos”, apuntó la experta.

Por su parte, la cofundadora y directora del Observatorio de Datos "DataGénero", Ivana Feldfeber, aseguró que una de las “grandes preocupaciones” en la materia es que cada vez más gobiernos “implementan algoritmos de IA que inciden en nuestras vidas y no sabemos nada al respecto”.

Operando inadvertidamente, estos sistemas se usan “para tomar decisiones que afectan directamente a las personas”, por ejemplo para determinar a quiénes entregar préstamos, atención médica o social, o incluso para medir una pena judicial o el riesgo de reincidencia, indicó.

El proyecto “Not my AI” (“No mi IA”, en español), desarrolló un mapa de "proyectos problemáticos” que usan IA en Latinoamérica, y Argentina registró al menos tres, dos de ellos relacionados a la video vigilancia.

También se encuentra la Plataforma Tecnológica de Intervención Social, un programa que el gobierno de Salta y la mega empresa Microsoft impulsaron en 2018 y que aspiraba a poder predecir el embarazo adolescente mediante inteligencia artificial.

“Además de lo estigmatizante que es la propuesta, que sólo recopila datos de niñas pero no de las personas que las dejan embarazadas, la pregunta es qué se hace después con esos datos que refieren a una problemática tan compleja”, cuestionó Feldfeber, quien enfatizó en que estos proyectos “lo único que buscan es marcar” grupos sociales mediante la IA.

Pese a las complejidades que presenta, las especialistas destacaron las oportunidades que puede brindar la IA, abordada desde una perspectiva de género, en las luchas de mujeres y LGBTIQ+.

Ejemplos de esto son los chatbots diseñados para la recepción de denuncias por violencia de género para agilizar los tiempos judiciales, o Themis, un corrector de textos que advierte sobre las palabras sexistas y propone alternativas inclusivas.

También lo es AymurAI, un programa para computadora basado en IA, que tiene como objetivo ayudar a los poderes judiciales a recolectar y disponer datos anonimizados sobre la violencia de género, desarrollado por DataGénero junto a colegas mexicanas y suecas.

Consultada por Télam, Yasmín Quiroga, abogada e integrante del observatorio, explicó que la iniciativa surgió a partir de la carencia de datos unificados sobre violencia de género en el país y, a su vez, el bajo nivel de confianza en el poder judicial argentino, que la última encuesta de Latinobarómetro ubicó en un 16%.

En casos de violencia de género, esto se traduce en “bajos niveles de denuncia, desconfianza en el sistema de justicia y menor acceso” a la misma, aseguró.

En ese marco, AymurAI fue pensada como una forma de agilizar la recolección de datos sobre la violencia de género a partir de la automatización de su registro, de manera que permita “comprender la violencia de género y respaldar el desarrollo de políticas públicas”, detallaron sus creadoras.

“Los datos tienen una capacidad transformadora porque permiten conocer la realidad de las personas. Son una evidencia concreta, más allá de que no son objetivos”, indicó Quiroga.

“Estos datos ya existen y son muy demandados por la sociedad, es cuestión de empezar a trabajarlos y publicarlos", sostuvieron las creadoras de AymurAI, que ya está en funcionamiento y disponible "para quienes lo quieran implementar".

Y concluyeron: “No esperamos que estas herramientas solucionen el problema de la violencia de género, pero sí creemos que tienen mucho que aportar”.