Estos últimos días estoy percibiendo la cantidad de comentarios que aparecen en los sistemas IA basados en sesgos que tenemos las personas y que condicionan nuestra sociedad. Algunos de ellos pueden ser una señal de cosas que son realmente de otra forma distinta a como lo percibimos.

Hace ya varios años que leí el libro de Daniel Kahneman, “pensar rápido, pensar despacio” donde aparecían y diferenciaba las distintas formas de pensar y tomar decisiones que la propia naturaleza nos había aportado. Este libro transformó profundamente nuestra manera de entender el mundo y reveló los muchos atajos que emplea el cerebro para percibir el entorno. Tan importante ha sido que en su momento, este investigador consiguió un premio Nobel.

Imagen generada por Dall-e para este contenido específico

Estos atajos que aplica nuestro cerebro cuando “piensa rápido” principalmente es lo que denominamos “sesgos”. Los hay de muchos tipos y que tienen muy distintas involucraciones a todos los niveles. Desde tener una falsa percepción de analogías que previamente no éramos conscientes, hasta percibir y recordar los aspectos negativos de una situación a los positivos. Somos así y nos ha costado un montón de generaciones evolucionar.

Los sesgos humanos no van todos a los sistemas de Inteligencia Artificial

A partir de este punto, es necesario comprender como los sistemas de inteligencia artificial aprenden. A partir de una información dada, esta es procesada y recoge aquellos aspectos que le permiten aprender y que incorpora a su base de conocimiento. Además, también en función del entrenamiento que se realice y como se interactúe con el sistema, también va recogiendo esta información para convertirla en aprendizajes. Todos ellos, además, en función de las métricas elegidas para el aprendizaje y otros incorporados para satisfacer al cliente, producen que la información generada por los sistemas de IA generativa incorpora sesgos que es necesario conocer.

Es decir, por muy bien programados o entrenados que estén, o por muy bien utilizados que vayan a ser los sistemas, estos van a coger “atajos” para dar respuestas que quizá no sean los más apropiados. Esto es importante a la hora de evaluar ética y operativamente como de apropiado es utilizar este tipo de sistemas.

Tipologías de sesgos que pueden tener sistemas de Inteligencia Artificial

Si conocemos las distintas tipologías de sesgos que pueden tener nuestros sistemas IA que consultamos de forma habitual, más capaces seremos de identificar cuales son y cuando se producen. Algunos de ellos son:

Sesgos del dato
Muchos sesgos aparecen antes de que exista el modelo: en los datos con los que se entrena. Si el conjunto de datos no representa bien a la gente real (por ejemplo, faltan ciertos acentos, edades, países o situaciones), la IA aprenderá una “visión parcial del mundo”. También influyen los errores al medir o registrar información (sensores que funcionan peor en algunos casos), y cómo se ponen las etiquetas (si quienes clasifican tienen criterios distintos o prejuicios sin querer). Además, a veces solo se guardan los casos “visibles” (los que llegaron al sistema), y se pierden los que quedaron fuera, lo que distorsiona el aprendizaje. En resumen: si la materia prima está desequilibrada o incompleta, el resultado también lo estará.

Sesgos del modelo y del entrenamiento
Aunque los datos sean razonables, el sesgo puede venir de cómo se construye y entrena la IA. El modelo aprende a optimizar un objetivo (por ejemplo, “acertar lo máximo posible”), pero eso puede ocultar injusticias: puede ir muy bien “en promedio” y aun así fallar mucho más en ciertos grupos. Decisiones técnicas como el umbral para decir “sí/no” o cómo se penalizan los errores cambian quién sale beneficiado o perjudicado. Además, existe el efecto “bola de nieve”: si la IA influye en decisiones (a quién se vigila, a quién se recomienda algo), eso cambia los datos futuros y puede reforzar el mismo patrón una y otra vez. Es decir, no solo importa qué aprende, sino qué le pedimos optimizar y cómo lo hacemos.

Sesgos de evaluación
A veces el sistema parece bueno porque se evalúa con pruebas que no se parecen a la realidad. Si se usan métricas inadecuadas, puede dar resultados “bonitos” en un número global mientras es mucho peor para ciertos grupos. También puede pasar que el conjunto de pruebas sea demasiado limitado (pocos casos raros, poco ruido, un solo país o idioma) y no detecte fallos que sí aparecerán al usarlo. Incluso hay errores por cómo se separan los datos de entrenamiento y prueba: si se cuela información sin querer, el modelo parece más listo de lo que realmente es. En pocas palabras: si medimos mal, podemos creer que la IA es justa y fiable cuando no lo es.

Sesgos de despliegue y uso
Un sistema de IA no vive en un laboratorio: se usa en nuestro mundo, en tu organización, con personas, reglas e incentivos. Por eso puede aparecer sesgo cuando se pone en marcha. Por ejemplo, si solo lo usan ciertos perfiles (quien tiene smartphone, quien puede rellenar un formulario), ya se crea una desigualdad de entrada. La forma de presentar los resultados también importa: una recomendación en pantalla puede influir mucho en decisiones humanas y “empujar” comportamientos. Además, las prioridades de la empresa (reducir costes, evitar riesgos legales, rapidez) afectan a cómo se configura y a quién se le da más o menos margen de error. En resumen: aunque el modelo sea decente, el contexto real puede volverlo injusto o dañino.

Sesgos propios del desarrollo en sistemas generativos
En los modelos que generan texto, los sesgos suelen notarse en lo que dicen y en cómo lo dicen. Tienden a reflejar lo más común en sus datos, por lo que pueden repetir ideas mayoritarias y dejar menos espacio a perspectivas minoritarias, y suelen funcionar mejor en idiomas o formas de hablar más frecuentes. Además, pueden “querer agradar”: a veces se adaptan demasiado a la opinión del usuario, incluso si es equivocada, y pueden responder con mucha seguridad cuando en realidad están improvisando o no tienen suficiente información. Por último, las reglas de seguridad influyen: pueden ser demasiado estrictos y negarse sin necesidad, o al revés, dejar pasar cosas que deberían filtrar. En pocas palabras: son muy útiles, pero hay que leerlos con pensamiento crítico y, cuando importa, verificar.

No hace falta que los estudies en detalle, pero siempre es importante tenerlos en cuenta cuando leas sus respuestas. Si las personas los tenemos y los hemos diseñado y puesto en marcha, ¿cómo no van a tener sesgos?

Nuestros servicios relacionados​​

Laboratorios de innovación	Inteligencia territorial aplicada	Optimizar tareas administrativas IA

También te puede interesar…​​

¿Puede la IA hacer mejor nuestros pueblos?	Inteligencia territorial y big data	Inteligencia territorial para entender despoblación