Algoritmos, sesgos y discriminación en su uso: A propósito de recientes sentencias sobre el tema
Hoy vivimos en un mundo cada vez más automatizado donde los algoritmos[1] son utilizados para la toma de decisiones basadas en sistemas de inteligencia artificial (IA).
Muchas veces los mismos generan sesgos en su aplicación, tal como queda de manifiesto en dos importantes sentencias del tema relativas a la Seguridad Social, los impuestos y el derecho laboral.
Estas sentencias contra el uso de algoritmos predictivos, son sumamente relevantes y constituyen un gran avance para luchar contra la discriminación producida por las decisiones automatizadas y por los perfiles de riesgo utilizados.
Desde ya que es tarea de los gobiernos garantizar que estos sistemas no produzcan sesgos o discriminaciones.
Por todo ello el objetivo del presente es por un lado reseñar las citadas sentencias y por el otro destacar la importancia del correcto diseño, desarrollo, aplicación y auditoría de los algoritmos, de acuerdo a la Ley, de forma socialmente justa y responsable para evitar que discriminen.
1 – SENTENCIAS
1.1 – SYRI – TRIBUNAL DE LA HAYA 5/2/2020.
El Tribunal de la Haya se pronunció un fallo histórico[2] anulando la recopilación de datos y la elaboración de perfiles de riesgo de los ciudadanos holandeses para detectar fraudes en la seguridad social (SyRI acrónimo de System Risk Indication).
SyRI es un instrumento legal que el gobierno Holandés utiliza para combatir el fraude en áreas como Seguridad Social e impuestos.
Con el mismo el Ministerio de Asuntos Sociales y Empleo estudia desde 2014 datos sobre ingresos, pensiones, seguros, tipo de casa, impuestos, multas, integración, educación, deudas o subsidio de desempleo de los contribuyentes para calcular luego a base de algoritmos quién tiene más probabilidades de defraudar a la Administración.
Para ello, recopila datos personales creando perfiles de riesgo de los ciudadanos a través de algoritmos. Es decir, con el sistema se busca determinar que ciudadanos son más proclives a cometer fraudes.
Según los legisladores creadores del SyRI los datos se pueden vincular y analizar de forma anónima en un entorno seguro, de modo que se puedan generar informes de riesgos. Vale decir que en el sistema se intercambian datos personales de los ciudadanos.
El Tribunal de la Haya dijo que el sistema SyRI no cumple con los requisitos del Artículo 8, párrafo 2 del CEDH (Derecho al respeto a la vida privada) para justificar el intercambio mutuo de datos personales.
Cabe aclarar que el artículo 8 del CEDH recoge el derecho al respeto a la vida privada y familiar en los siguientes términos:
El Tribunal reconoció “el objetivo legítimo y de gran relevancia social de evitar un delito”. Sin embargo, dijo que “el modelo de riesgo elaborado en estos momentos por SyRI puede tener efectos no deseados, como estigmatizar y discriminar a la ciudadanía, por la ingente cantidad de información que recoge”.
En su defensa el ministerio dijo al tribunal que “el sistema solo liga datos que el Estado ya posee, y dibuja con ellos un árbol de decisión (un modelo de predicción), de modo que no se usa la IA ni tampoco algoritmos de autoaprendizaje”.
Por el contrario, el fallo señala que dicha afirmación “no se puede comprobar, porque la legislación que permite el uso de SyRI no es lo bastante transparente”. Los jueces señalaron que no habían recibido suficiente información sobre el sistema, “ya que el Estado mantiene en secreto la forma de calcular la posibilidad de fraude”.
1.2 – DELIVEROO. FALLO DE TRIBUNAL DE BOLONIA ITALIA
En este caso un Tribunal de Bolonia dictaminó que es discriminatorio el algoritmo utilizado por la aplicación europea de entrega de alimentos Deliveroo para clasificar y ofrecer turnos a los trabajadores (riders).
El algoritmo particular examinado por el tribunal supuestamente se utilizó para determinar la «confiabilidad» de un ciclista trabajador de la empresa.
Si un trabajador no cancela un turno reservado previamente a través de la aplicación al menos 24 horas antes de su inicio, su «índice de confiabilidad» se verá afectado negativamente.
Dado que los trabajadores considerados más confiables por el algoritmo fueron los primeros en ofrecer turnos en bloques de tiempo más ocupados, esto significó efectivamente que los mismos que no pueden hacer sus turnos, incluso si es debido a una emergencia o enfermedad grave, tendrían menos oportunidades de trabajo en el futuro.
Según el tribunal, el hecho de que el algoritmo no tenga en cuenta las razones detrás de una cancelación equivale a una discriminación y penaliza injustamente a los trabajadores con razones legalmente legítimas para no trabajar.
El tribunal determinó que incluso si un algoritmo discrimina involuntariamente a un grupo protegido, una empresa aún puede ser considerada responsable y obligada a pagar daños.
Se ordenó a Deliveroo pagar 50.000 € (~ 61.400 dólares) a las partes demandantes.
La Confederación General del Trabajo de Italia (CGIL) calificó la sentencia del tribunal de Bolonia como “un punto de inflexión trascendental en la conquista de los derechos y libertades sindicales en el mundo digital”[3].
2 – IMPORTANCIA DEL TEMA Y COMENTARIOS FINALES
Las dos sentencias comentadas son muy relevantes y demuestran que puede haber discriminación indirecta a través de algoritmos.
Tratan de un tema vigente y constante en el debate, esto es si es lícito depositar nuestra confianza en algoritmos que por su diseño o entrenamiento pueden presentar sesgos ocultos.
Por ello entiendo que es vital que en el diseño, desarrollo, aplicación y auditoría de los algoritmos siempre se respeten los derechos fundamentales de los ciudadanos evitando así todos los sesgos o discriminaciones que su uso puedan producir.
Comparto lo dicho por Idoia Salazar[4] de que los Gobiernos internacionales, por ejemplo, la UE, están intentando empezar a legislar sobre casos de uso concretos de la IA. Por ejemplo, para poner límites al reconocimiento facial o a al nivel de autonomía que dejan a los algoritmos de IA. Pero la elaboración de leyes es lenta y la evolución tecnológica muy rápida en la actualidad, por eso se está intentando fomentar la ética y la responsabilidad humana, no de las máquinas, para prevenir desastres o cosas negativas.
Como dice Cathy O’Neil[5] “Los procesos de Big Data codifican el pasado. No inventan el futuro. Tenemos que incorporar explícitamente mejores valores en nuestros algoritmos, creando modelos de big data que sigan nuestro liderazgo ético. A veces eso significa poner la justicia por delante de las ganancias”.
Por su parte, Galdón Clavell[6] dice que la mayoría de las organizaciones que implementan algoritmos tienen muy poca conciencia o comprensión de cómo abordar los desafíos del sesgo, incluso si lo reconocen como un problema en primer lugar. Los algoritmos son solo funciones matemáticas, por lo que lo que hacen es codificar realidades sociales complejas para ver si podemos hacer buenas suposiciones sobre lo que puede suceder en el futuro.
Los algoritmos se basan en modelos de IA de aprendizaje automático y requieren una evaluación periódica para garantizar que no haya introducido sesgos nuevos e inesperados en su propia toma de decisiones durante el autoaprendizaje.
Quiero destacar que Eticas Consulting[7] ha elaborado la primera Guía de Auditoría Algorítmica dirigido a empresas, entidades públicas y a la ciudadanía, la cual ofrece una metodología general y replicable para auditar productos y servicios en torno a sistemas de IA que usan algoritmos que recopilan o tratan datos de carácter personal.
De esta forma, se podrá comprobar que son diseñados, desarrollados y utilizados de acuerdo a la Ley, de forma socialmente justa y responsable para evitar que discriminen.
Comparto lo dicho por Antonio Ansón[8] de que desgraciadamente, más IA no garantiza más libertad o igualdad. Nadie quiere un futuro de robots supremacistas, racistas o sexistas que amplifiquen lo peor de nuestras sociedades. La Administración Pública tendrá un papel relevante en que la libertad individual y la igualdad no se vean perjudicadas por el avance de la automatización.
Yendo al campo tributario, es fundamental que las AATT que utilicen algoritmos e IA, respeten los derechos y garantías de los contribuyentes.
Es importante destacar que los algoritmos siempre están sujetos a revisión judicial, pero muchas veces los países aun no cuentan con una legislación tan avanzada que proteja debidamente los derechos y garantías de los contribuyentes tal como lo manifesté oportunamente[9].
Soy un ferviente defensor de la digitalización, y creo la misma debe estar siempre al servicio de los ciudadanos para mejorar su calidad de vida, permitiendo un futuro mejor para todos, para lo cual es imprescindible que se solucionen prontamente los efectos no deseados de su aplicación, en casos como los comentados en el presente.
Finalmente, como siempre digo el principal objetivo es abrir el tema a debate y aguardo sus valiosos comentarios.
[1] Los algoritmos son un conjunto de instrucciones o reglas definidas y no-ambiguas, ordenadas y finitas que permite, típicamente, solucionar un problema, realizar un cómputo, procesar datos y llevar a cabo otras tareas o actividades. Diccionario de la Lengua Española. Real Academia.
[2] https://uitspraken.rechtspraak.nl/inziendocument?id=ECLI:NL:RBDHA:2020:865
[3] Sobre este tema de garantizar la protección social de los trabajadores de plataformas escribí en https://www.mercojuris.com/35634/trabajadores-de-plataformas-digitales-y-la-imperiosa-necesidad-de-su-proteccion-social
[4] https://www.noentiendonada.es/idoia-salazar-la-ia-puede-hacer-mucho-mal/
[5] Autora del libro Armas de destrucción matemática: cómo los grandes datos aumentan la desigualdad y amenazan la democracia https://weaponsofmathdestructionbook.com/
[6] https://www.esdelatino.com/auditoria-por-discriminacion-algoritmica/
[7] https://www.diariojuridico.com/guia-de-auditoria-algoritmica-para-que-la-ia-cumpla-con-la-legalidad/
[8] https://trabajandomasporunpocomenos.wordpress.com/2018/02/07/algoritmos-y-administracion-publica-no-a-los-robots-supremacistas/
[9] Digitalización de las Administraciones Tributarias y Derechos de los Contribuyentes y también ver https://contadores-aic.org/digitalizacion-de-las-administraciones-tributaria-fiscalizacion-y-derechos-de-los-contribuyentes/
10,546 total views, 2 views today
8 comentarios
Muy interesante, Alfredo. Lo que me extraña es que no menciones dos discriminaciones relevantes, precisamente, porque recogen hechos pasados: las de género y de las del color de la piel.
Muchas gracias Domingo por tu valioso comentario. La diacriminacion por raza quedo de manifiesto en la sentencia Compas que comentamos oportunamente con Pablo Porporatto en este articulohttps://www.ciat.org/podria-la-inteligencia-artificial-ayudar-a-resolver-las-controversias-con-las-administraciones-tributarias/
Saludos
Excelente análisis, elcompromiso ético para con los ciudadanos, está por encima aún de los más loables objetivos de las empresas y más aún de las Entidades del Estado.
muchas gracias Maria Eugenia sin dudarlo la tecnologia debe servir para mejorar la calidad de vida de los ciudadanos por eso la etica como dices es muy importante. Saludos
Excelente artículo, Alfredo. Muy interesantes los temas que planteas.
Muchas gracias.
Estimado Fernando muchas gracias,tu experta opinion es muy importante para mi. Saludos
Excelente el artículo, pues el mismo expone situaciones que muestran situaciones reales, en las cuales queda en evidencia, que el cobro de tributos debe realizarse dentro del marco de respeto y cumplimiento de los derechos humanos. Las nuevas tecnologías y conocimientos aplicados para la detección del fraude y la evasión, dejan en evidencia que todos debemos estudiar, y volver a estudiar, disciplinas -que no son tributarias- pero que impactan o pueden impactar negativamente en los derechos humanos de los ciudadanos. En definitiva nunca mejor aplicado el dicho: «el fin no justifica los medios». En conclusión, este artículo nos interpela en la labor diaria de todos los que nos dedicamos a la tributación. Felicitaciones
Si existen diferencias en el rendimiento de un algoritmo, generalmente es muy dificil y, a veces, imposible eliminar el sesgo a traves de soluciones matematicas o programaticas. Una causa importante de discriminacion es la calidad de los datos utilizados para desarrollar algoritmos y software. Para ser efectivo y preciso, el software de reconocimiento facial necesita ser alimentado con grandes cantidades de imagenes faciales. Mas imagenes faciales conducen, en principio, a predicciones mas precisas.