¿Puede un algoritmo decidir de forma injusta? ¿Están suficientemente protegidos los derechos fundamentales frente a la automatización? Estas preguntas están en el centro del informe jurídico presentado por OdiseIA (Observatorio del Impacto Social y Ético de la Inteligencia Artificial), titulado Inventory of Comparative Judgments and Rulings: AI and Vulnerable Groups, que analiza por primera vez resoluciones judiciales y administrativas sobre el impacto de la IA en colectivos vulnerables en distintas regiones del mundo.
El estudio forma parte del proyecto cAIre (Caring for vulnerable groups through AI Governance and fair AI in the workplace), dirigido por Ana Montesinos García y Elisa Simó Soler, con la colaboración de Juan Carlos Hernández Peña, Gabriele Vestri e Iratxe de Anda Rodríguez. Se trata de una herramienta pionera que busca sentar las bases jurídicas para una IA más ética, justa y transparente.
Un repositorio de casos reales y consecuencias reales
El informe sistematiza casos reales ocurridos entre 2013 y 2024, procedentes de tribunales, defensorías del pueblo y autoridades de protección de datos de Europa, América y otras regiones. Documenta situaciones en las que el uso de sistemas algorítmicos ha tenido un efecto directo sobre los derechos fundamentales de personas en situación de pobreza, precariedad laboral, minorías étnicas, infancia, discapacidad o personas mayores, entre otros grupos.
Ejemplos como el controvertido sistema Robodebt en Australia, que provocó la devolución masiva de ayudas sociales, o los problemas de transparencia del algoritmo BOSCO en España, utilizado para asignar ayudas de inserción, ilustran cómo la falta de explicabilidad, rendición de cuentas o supervisión puede traducirse en decisiones administrativas discriminatorias o injustas.
Principios éticos y perspectiva interseccional
El análisis del informe se estructura según los principios de la OCDE sobre inteligencia artificial, como la transparencia, la imparcialidad, la responsabilidad o la robustez técnica, y añade un enfoque interseccional, que permite detectar dinámicas de discriminación cruzada que afectan a muchos de estos colectivos.
Más allá de identificar los riesgos, el documento ofrece recomendaciones prácticas sobre cómo diseñar e implementar sistemas automatizados sin comprometer los derechos humanos, convirtiéndose en un recurso valioso para juristas, expertos en IA, responsables políticos y entidades sociales.
Hacia un observatorio vivo sobre IA y derechos fundamentales
Aunque todavía en fase de desarrollo, el informe aspira a consolidarse como un observatorio vivo de jurisprudencia sobre inteligencia artificial, que evolucione conforme se acumulen nuevas resoluciones y se afiancen los criterios jurídicos en este ámbito.
Para sus autores, este trabajo no solo invita a repensar el papel de la IA en la administración y el sector privado, sino que plantea una llamada a la acción para exigir mayores garantías legales, éticas y técnicas en todos los ámbitos donde las decisiones automatizadas puedan afectar a personas en situación de vulnerabilidad.
El informe completo puede consultarse en la web oficial de OdiseIA.
