Sistemas de IA de Alto Riesgo: Definición y Obligaciones según la Ley IA UE

Concepto clave: Los sistemas de IA de alto riesgo son aquellos que, según la Ley de IA de la UE, presentan un riesgo significativo para la salud, la seguridad o los derechos fundamentales de las personas, y que por tanto están sujetos a las obligaciones más exigentes del reglamento antes de poder ser comercializados o desplegados.

Qué son los Sistemas de IA de Alto Riesgo

La Ley de IA de la UE define como de alto riesgo dos grandes categorías de sistemas:

Primera categoría: Sistemas de IA que son componentes de seguridad de productos ya regulados por la legislación de armonización de la UE (maquinaria, equipos de protección individual, juguetes, ascensores, equipos de radio, equipos a presión, equipos marítimos, sistemas de control de tráfico aéreo, vehículos de motor, dispositivos médicos y dispositivos médicos para diagnóstico in vitro). Para estos sistemas, el marcado CE ya existente se amplía para incluir los requisitos de la Ley de IA.

Segunda categoría: Sistemas de IA listados en el Anexo III del reglamento, que incluye ocho áreas de aplicación consideradas de alto riesgo por su potencial impacto:

Identificación y categorización biométrica de personas.
Gestión y operación de infraestructuras críticas.
Educación y formación profesional.
Empleo, gestión de trabajadores y acceso al autoempleo.
Acceso a servicios privados esenciales y beneficios y servicios públicos.
Aplicación de la ley.
Gestión de la migración, el asilo y el control de fronteras.
Administración de justicia y procesos democráticos.

Obligaciones para Proveedores de Sistemas de Alto Riesgo

Los proveedores deben:

Establecer un sistema de gestión de calidad que incluya todas las obligaciones del reglamento.
Preparar y mantener documentación técnica completa.
Conservar automáticamente registros de actividad (logs) mientras el sistema esté bajo su control.
Garantizar que el sistema supera una evaluación de conformidad antes de su comercialización.
Registrar el sistema en la base de datos europea de IA de alto riesgo.
Informar a las autoridades competentes de incidentes graves o mal funcionamientos que impliquen riesgos para derechos fundamentales.
Colocar el marcado CE en el sistema o en la documentación que lo acompaña.

Obligaciones para Usuarios de Sistemas de Alto Riesgo

Los usuarios (organizaciones que despliegan sistemas de IA de alto riesgo en sus operaciones) deben:

Utilizar el sistema de conformidad con las instrucciones del proveedor.
Asignar supervisión humana a personas con la autoridad, competencia y recursos necesarios.
Monitorear el funcionamiento del sistema y notificar incidentes al proveedor.
No utilizar el sistema para fines distintos de los declarados.
Conservar registros de actividad durante el período legalmente establecido.

Ejemplo de Aplicación B2B

Una plataforma de software de gestión de talento que incluye módulos de evaluación automática de candidatos cae dentro de la categoría "empleo, gestión de trabajadores y acceso al autoempleo" del Anexo III. Su proveedor debe completar una evaluación de conformidad, documentar el modelo, implementar supervisión humana y registrar el sistema antes de comercializarlo en la UE. El cliente (empresa de RRHH) debe asegurarse de que los resultados del sistema son revisados por profesionales cualificados antes de tomar decisiones de contratación.

Knowlee diseña sus flujos de trabajo con registros de actividad automáticos que permiten a sus clientes demostrar el cumplimiento de los requisitos de supervisión humana y trazabilidad exigidos para los sistemas de alto riesgo.

Preguntas Frecuentes

¿Puede un sistema de IA de alto riesgo quedar exento de las obligaciones más estrictas? En casos muy específicos: cuando el sistema se usa para un propósito claramente distinto al listado en el Anexo III, o cuando el proveedor puede demostrar que el sistema no presenta un riesgo significativo en su contexto de uso concreto. Pero la carga de la prueba recae en el proveedor.

¿Un chatbot de atención al cliente es de alto riesgo? Generalmente no, a menos que tome decisiones que afecten el acceso a servicios esenciales (por ejemplo, decidir si un cliente puede reclamar un seguro). Los chatbots de servicio general tienen obligaciones de transparencia (riesgo limitado), no de alto riesgo.

¿Qué ocurre si un sistema de alto riesgo se comercializa sin evaluación de conformidad? Las autoridades competentes pueden ordenar la retirada del mercado y aplicar multas de hasta 15 millones de euros o el 3 % del volumen de negocio global anual.