La Inteligencia Artificial(IA) se ha integrado sutilmente en nuestra vida diaria. Desde la búsqueda de información en Google hasta los algoritmos que deciden que películas recomendar en nuestro perfil de Netflix. Sin embargo, cada día delegamos más en algoritmos de IA la responsabilidad de tomar decisiones cruciales, automatizando procesos vitales que van desde la selección de personal hasta la asignación de prestaciones sociales. Esta confianza en los algoritmos promete eficiencia, pero oculta un riesgo: si estos sistemas no se controlan debidamente, pueden replicar y amplificar sesgos, poniendo en peligro algo tan esencial como nuestros derechos humanos

La gran pregunta es si la legislación actual está a la altura, y según la Agencia de la Unión Europea para los Derechos Fundamentales(FRA), la respuesta es“no”. En un reciente informe, la FRA concluye que la normativa europea, diseñada para gobernar estos sistemas, es insuficiente. El dilema es claro: mientras la tecnología avanza a pasos agigantados, la estructura legal que debería salvaguardar nuestros derechos fundamentales se queda peligrosamente corta.

La“ley IA” y su talón de Aquiles

El reglamento de Inteligencia Artificialde la UE(AI Act) se construye bajo la premisa de la clasificación por riesgo. Este marco legal establece una jerarquía clara: sistemas de riesgo nulo(como los detectores de spam), sistemas de riesgo inaceptable(prohibidos por manipular vulnerabilidades) y sistemas de alto riesgo. En esta última categoría se incluyen las herramientas que tienen un impacto más directo e importante en la vida de las personas, como las relacionadas con la educación, el empleo, los servicios públicos esenciales y la migración, las cuales requieren supervisión humana constante.

A pesar de esta estructura, la FRA considera que el marco tiene un talón de Aquiles. La crítica principal es que la normativa no clarifica cómo abordar de manera sistemática la posible vulneración de derechos fundamentales. La Agencia advierte que la ley se apoya demasiado en la autorregulación(el trabajo de los propios proveedores para evaluar sus riesgos), sin garantizar que los derechos humanos sean considerados de forma prioritaria, quedando relegados a preocupaciones secundarias como la protección de datos.

Los cinco mayores riesgos

La FRA ha puesto el foco en cinco áreas fundamentales—las que la UEcalifica como de alto riesgo—. En todas ellas, la IA interviene para automatizar análisis y juicios sin supervisión humana, lo que puede introducir sesgos y errores con graves consecuencias para nuestros derechos. Son las siguientes:

• Empleo: La IA en el filtrado de currículums o el monitoreo de empleados puede amplificar sesgos. Si un algoritmo se entrenó con datos que favorecen un perfil, vulnerará el derecho al trabajo y a la no discriminación al negar oportunidades justas.
• Educación: El uso de la vigilancia biométrica durante exámenes o el software que evalúa la capacidad lectora del alumnado no solo plantea problemas de privacidad; un error algorítmico al evaluar a un menor puede llevar a una clasificación del nivel educativo injusta, violando directamente su derecho a una educación adecuada.
• Beneficios Sociales: Los sistemas automatizados que determinan la elegibilidad de prestaciones(por discapacidad, desempleo, etc.) tienen un riesgo devastador. Un fallo algorítmico puede llevar a la denegación injusta de una ayuda esencial.
• Aplicación de la ley: La IA se emplea en sistemas de reconocimiento facial y análisis predictivo. Esto genera vigilancia masiva e impersonal y fomenta la sobrevigilancia sesgada de ciertas comunidades, vulnerando el derecho a la presunción de inocencia y a la libertad.
• Asilo y migración: La IA que asiste en la toma de decisiones sobre solicitudes de asilo es el riesgo más grave. Si el algoritmo evalúa incorrectamente la credibilidad de un solicitante, el error puede resultar en la devolución a un país donde su vida está en peligro, violando el derecho internacional al asilo.

Desconcierto en la industria y una regulación demorada

Otra de las conclusiones del informe es que la propia industria que desarrolla estos sistemas de alto riesgo no sabe cómo evaluar sistemáticamente o mitigar el impacto que sus herramientas tienen sobre los derechos fundamentales. Si bien los desarrolladores son conscientes de las normas técnicas, como la protección de datos, fallan en ir más allá y considerar cómo su software puede violar derechos humanos fundamentales.

Este hallazgo coincide con la reciente decisión de la Comisión Europea de retrasar 16 meses la supervisión obligatoria de los sistemas de alto riesgo. El argumento oficial es dar tiempo para publicar los estándares técnicos. No obstante, para la FRA, esta demora y la falta de guías rigurosas son un síntoma de que la ley, sin estándares claros y con una industria confusa, deja un peligroso vacío de control. El informe es, en esencia, una advertencia: mientras Bruselas debate los plazos, la vida de los ciudadanos ya está siendo moldeada por algoritmos que la ley, hoy por hoy, no sabe como regular.