Esta es una de las mayores preguntas que nos hacemos a la hora de implementar procesos de IA en las empresas, y sobre todo, no si debemos invertir en inteligencia artificial, sino si la inversión es acertada y no me va a causar problemas a futuro. Es por este motivo por el que me plantee analizar este “ladrillo” y clarificar como podemos actuar en cada uno de los casos. La Unión Europea ha establecido el primer marco regulador, conocido como la Ley de Inteligencia Artificial, siendo el primer marco jurídico integral sobre IA en todo el mundo. Este ambicioso marco regulatorio, que entró en vigor el 1 de agosto de 2024, representa un paso decisivo para garantizar que la revolución de la inteligencia artificial se desarrolle de manera ética, segura y centrada en las personas, mientras que intenta preservar el potencial innovador de esta tecnología transformadora. Para ello, establece un conjunto de normas claras basadas en los riesgos que presentan los sistemas de IA, clasificándolos en cuatro categorías: riesgo inaceptable, riesgo alto, riesgo limitado y riesgo mínimo o nulo.
Fundamentos y principios de la Ley de IA
Un poco de historia: la Ley de IA nace con el objetivo fundamental de mejorar el funcionamiento del mercado interior mediante el establecimiento de un marco jurídico uniforme para el desarrollo, la introducción en el mercado y el uso de sistemas de inteligencia artificial en la Unión. Este marco se alinea con los valores europeos para promover una IA centrada en el ser humano y que sea fiable, garantizando al mismo tiempo un elevado nivel de protección de la salud, la seguridad y los derechos fundamentales-
El reglamento establece que los sistemas de IA deben desarrollarse y utilizarse de conformidad con los valores de la Unión. Como requisito previo, la IA debe ser una tecnología centrada en el ser humano, una herramienta para las personas con el objetivo último de aumentar el bienestar humano.
Estos principios reflejan la visión europea de una IA ética y responsable, que respeta la dignidad humana, la libertad, la democracia, la igualdad y el Estado de Derecho. La normativa busca equilibrar la protección de estos valores con la promoción de la innovación, convirtiendo a la UE en líder mundial en el desarrollo de una IA fiable.
Un enfoque basado en el riesgo
La característica más distintiva de la Ley de IA es su enfoque basado en el riesgo, que clasifica los sistemas de IA según el nivel de peligro potencial que representan y establece obligaciones proporcionales para cada categoría. Este enfoque permite una regulación matizada que evita obstaculizar la innovación mientras protege adecuadamente a los ciudadanos.
La ley define cuatro niveles de riesgo para los sistemas de IA:
Riesgo inaceptable
Los sistemas considerados una clara amenaza para la seguridad, los medios de subsistencia y los derechos de las personas están prohibidos. La ley identifica ocho prácticas prohibidas, entre ellas: la manipulación y el engaño perjudiciales basados en IA, la explotación de vulnerabilidades, los sistemas de puntuación social, las evaluaciones de riesgo criminal individual, el raspado no dirigido de internet para crear bases de datos de reconocimiento facial, el reconocimiento de emociones en lugares de trabajo e instituciones educativas, la categorización biométrica para deducir características protegidas, y la identificación biométrica remota en tiempo real con fines policiales en espacios públicos.
Algunos ejemplos incluyen;
- Sistemas que manipulan a las personas a través de técnicas subliminales que causan daño psicológico.
- Sistemas que explotan las vulnerabilidades de personas o grupos específicos.
- Sistemas de puntuación social que clasifican a las personas en función de su comportamiento social o características personales.
Alto riesgo
Los sistemas de IA que pueden plantear riesgos graves para la salud, la seguridad o los derechos fundamentales se clasifican como de alto riesgo. Estos incluyen componentes de seguridad en infraestructuras críticas, sistemas utilizados en educación, componentes de seguridad de productos, herramientas para empleo y gestión de trabajadores, sistemas para acceso a servicios esenciales, y aplicaciones en ámbitos de cumplimiento de la ley, migración, asilo, control fronterizo, administración de justicia y procesos democráticos.
Estos sistemas están sujetos a estrictas obligaciones antes de poder introducirse en el mercado, como sistemas adecuados de evaluación y mitigación de riesgos, alta calidad de los conjuntos de datos, registro de actividad, documentación detallada, información clara al implementador, supervisión humana adecuada, y un alto nivel de robustez, ciberseguridad y precisión.
Riesgo de transparencia
Esta categoría se refiere a los sistemas donde la transparencia es crucial para mantener la confianza. La ley introduce obligaciones específicas de divulgación, como garantizar que las personas sean conscientes cuando interactúan con sistemas de IA como chatbots.
Además, los proveedores de IA generativa deben asegurar que el contenido generado por IA sea identificable, y ciertos contenidos como las falsificaciones profundas deben etiquetarse de manera clara y visible.
Riesgo mínimo o nulo
La Ley de IA no introduce normas para la IA de esta categoría, que incluye aplicaciones como videojuegos con IA o filtros de spam. La ley no introduce reglas específicas para estos sistemas de bajo riesgo, permitiendo que la innovación florezca en estos ámbitos.
A continuación, se detallan ejemplos de distintos niveles de riesgo:
- Manipulación cognitiva y engaño
La normativa prohíbe tajantemente los sistemas de IA que emplean técnicas subliminales o manipuladoras diseñadas para distorsionar el comportamiento humano. Imaginemos un asistente virtual que, utilizando técnicas subliminales, induce a niños a realizar compras dentro de aplicaciones sin el pleno conocimiento de sus padres. Este tipo de manipulación queda explícitamente prohibida.
Un caso particularmente preocupante serían los juguetes activados por voz que podrían fomentar comportamientos peligrosos en los niños, por ejemplo, un muñeco inteligente que sugiere subliminalmente conductas de riesgo como trepar a lugares peligrosos o consumir sustancias nocivas. La ley busca proteger especialmente a los más vulnerables de este tipo de influencias perniciosas.
- Explotación de vulnerabilidades
Los sistemas que explotan las vulnerabilidades de personas debido a su edad, discapacidad o situación socioeconómica también están prohibidos. Por ejemplo, un sistema de IA que identifica adultos mayores con posibles deterioros cognitivos para dirigirles publicidad engañosa aprovechando sus vulnerabilidades. De igual manera, aplicaciones que detectan y explotan patrones de comportamiento de personas con adicciones para incentivar compras compulsivas también serían ilegales bajo esta normativa.
- Sistemas de puntuación social
La ley prohíbe categóricamente la creación de sistemas de clasificación o puntuación social similares a los implementados en algunos países fuera de la UE. Un caso ilustrativo sería un sistema gubernamental o privado que asigne puntuaciones a los ciudadanos basándose en su comportamiento social, actividades en línea o características personales, y que luego utilice estas puntuaciones para determinar el acceso a servicios públicos o privados. Por ejemplo, un sistema que deniegue préstamos bancarios o acceso a vivienda basándose en una «puntuación de confiabilidad social» derivada del análisis del comportamiento en redes sociales.
- Evaluación y predicción de riesgo criminal individual
Se prohíben los sistemas que pretenden predecir la probabilidad de que una persona cometa delitos basándose en perfiles, apariencia o características personales. Por ejemplo, software de «predicción criminal» que analiza rasgos faciales o comportamiento en espacios públicos para identificar supuestos «futuros delincuentes». Este tipo de tecnología ha demostrado perpetuar sesgos discriminatorios y violar el principio de presunción de inocencia.
- Identificación biométrica y emocional
La ley establece restricciones severas sobre el uso de tecnologías biométricas. Queda prohibido el raspado no dirigido de imágenes de Internet o grabaciones de CCTV para crear o ampliar bases de datos de reconocimiento facial. Un ejemplo prohibido sería una empresa que recopila automáticamente imágenes faciales de redes sociales sin consentimiento para entrenar sus sistemas de reconocimiento.
También está prohibido el reconocimiento de emociones en lugares de trabajo y entornos educativos. Por ejemplo, un sistema que monitoriza las expresiones faciales de empleados para detectar signos de «deslealtad» o «bajo rendimiento», o un software que analiza las reacciones emocionales de estudiantes durante exámenes para inferir posibles conductas de fraude.
La identificación biométrica remota en tiempo real con fines policiales en espacios públicos está generalmente prohibida, con limitadas excepciones. Esto significa que las fuerzas del orden no pueden implementar, por ejemplo, sistemas de reconocimiento facial en directo a través de cámaras en calles y plazas para identificar rutinariamente a transeúntes.
- Sistemas de riesgo mínimo o nulo
La mayoría de las aplicaciones de IA utilizadas actualmente se consideran de riesgo mínimo y pueden desarrollarse y utilizarse con pocas restricciones regulatorias. Estos incluyen filtros de spam, videojuegos con IA, sistemas de recomendación de contenido, y asistentes virtuales básicos. Por ejemplo, un sistema de IA que sugiere películas basándose en tus preferencias anteriores o un chatbot que responde a consultas básicas de servicio al cliente pueden operar con normalidad.
- Excepciones específicas a las prohibiciones
Existen excepciones cuidadosamente delimitadas a algunas prohibiciones. Por ejemplo, los sistemas de identificación biométrica «a posteriori» (con retraso significativo) pueden utilizarse para perseguir delitos graves, pero sólo con aprobación judicial previa. Esto permitiría, por ejemplo, que las autoridades utilicen reconocimiento facial para identificar a sospechosos de terrorismo a partir de grabaciones de seguridad, siempre con las debidas garantías legales.
- Sistemas de alto riesgo con salvaguardas adecuadas
Los sistemas de IA de alto riesgo pueden introducirse en el mercado siempre que cumplan con estrictos requisitos. Estos incluyen áreas como:
La gestión y explotación de infraestructuras críticas, como sistemas de IA que optimizan el funcionamiento de redes eléctricas o gestión del tráfico aéreo, siempre que incorporen robustos mecanismos de seguridad y supervisión humana.
En educación y formación profesional, se pueden utilizar sistemas de IA para personalizar el aprendizaje y evaluar el progreso de los estudiantes, siempre que sean transparentes, no discriminatorios y estén sujetos a supervisión humana. Por ejemplo, plataformas educativas que adaptan el contenido al ritmo de aprendizaje individual sin tomar decisiones críticas de manera autónoma.
En el ámbito del empleo y gestión de trabajadores, pueden implementarse sistemas para optimizar procesos de selección o asignación de tareas, siempre que no discriminen y mantengan la supervisión humana. Por ejemplo, un software de preselección de currículos puede utilizarse si sus algoritmos han sido auditados para prevenir sesgos y sus decisiones son revisadas por personas.
En el sector sanitario, los sistemas de IA pueden ayudar en diagnósticos médicos, interpretación de imágenes radiológicas o descubrimiento de fármacos, siempre que cumplan con los rigurosos estándares de seguridad y precisión establecidos por la regulación. Un ejemplo sería un sistema de IA que ayuda a detectar cáncer en mamografías, pero con verificación humana de sus hallazgos.
Obligaciones para usuarios y organizaciones
La Ley de IA establece obligaciones específicas para los diferentes actores en la cadena de valor de la IA, incluyendo proveedores, implementadores y otros participantes. Obviamente nada que decir sobre los sistemas de riesgo inaceptable, que, al estar terminantemente prohibidos, no presentan ninguna obligación para usuarios u organizaciones
Las organizaciones que desarrollan o implementan sistemas de IA deben ahora realizar evaluaciones de riesgo exhaustivas.
Los proveedores de sistemas de alto riesgo deberán mantener documentación técnica completa y transparente.
La transparencia se convierte en un requisito esencial. Las empresas que utilizan chatbots deben informar claramente a los usuarios que están interactuando con un sistema automatizado, no con un humano. Igualmente, el contenido generado por IA, especialmente las «falsificaciones profundas» (deepfakes), debe etiquetarse claramente como tal para evitar engaños.
Los ciudadanos adquieren nuevos derechos bajo esta normativa. Por ejemplo, una persona evaluada por un sistema de IA de alto riesgo para un puesto de trabajo tiene derecho a saber que está siendo evaluada por IA y a recibir una explicación sobre el proceso de toma de decisiones.
Si un usuario sospecha que está siendo objeto de un sistema de IA prohibido, como reconocimiento emocional en su lugar de trabajo, puede denunciarlo ante las autoridades competentes. En España, por ejemplo, estas denuncias se podrán presentar ante la Agencia Española de Supervisión de la Inteligencia Artificial (AESIA) mediante un formulario en su web o un escrito al director general.
El equilibrio entre innovación y protección
La Ley de IA busca un delicado equilibrio entre fomentar la innovación y proteger los derechos fundamentales. Por ejemplo, permite el desarrollo de modelos fundacionales de IA como ChatGPT o Claude, pero establece requisitos específicos de transparencia y gestión de riesgos.
En investigación científica, la IA puede emplearse para acelerar descubrimientos en campos como la medicina o la física, con mínimas restricciones siempre que se respeten los principios éticos básicos. Por ejemplo, un laboratorio puede utilizar IA para analizar grandes conjuntos de datos genómicos en busca de nuevos tratamientos médicos, con las debidas protecciones de privacidad.
Los sistemas de IA utilizados para generar contenido creativo, como texto, imágenes o música, pueden seguir desarrollándose libremente siempre que respeten los derechos de autor y se etiqueten adecuadamente. Un artista digital puede utilizar herramientas de IA generativa para crear obras originales, pero debe identificar claramente el contenido generado por IA si lo comercializa.
De este modo, si se genera una imagen, video, texto, audio o cualquier contenido multimedia con IA y luego se realizan adaptaciones de la imagen, surge la pregunta ¿de quién es la propiedad?
Cuando un contenido (por ejemplo, una imagen) generado a través de un Sistema de Inteligencia Artificial Generativa (SIAG) es objeto de una aportación creativa por parte del usuario, es decir, este último adapta o altera de cualquier manera el contenido original creando una nueva obra (labor creativa en la posproducción de la obra), la nueva creación sí tendrá la consideración de obra siempre y cuando el resultado de la aportación intelectual se deba a (1) una labor creativa de una persona física y (2) el trabajo cumpla con el requisito de originalidad.
No obstante, cuando los cambios introducidos en el contenido generado por no sean suficientemente relevantes (y carezcan, por tanto, de altura creativa y originalidad) no podemos considerar que el resultado sea protegible por el derecho de autor y, en consecuencia, adquirir derechos exclusivos de uso sobre la misma.
Por tanto, una imagen generada a partir de un SIAG puede llegar a ostentar derechos de autor siempre que se realice sobre estos una labor creativa y/o aportación intelectual, ya sea en la alteración, inclusión o disposición de los elementos generados por IA.
Cuando le doy contenido a la IA, normalmente las condiciones que establecen las herramientas es que estas cediendo dicho contenido a la IA. Cuando genero el 100% del contenido con la IA ¿de quién es esta propiedad? y ¿cuándo debo indicar que ha sido generado con IA?
Por un lado, con respecto a ostentar derechos de autor: El autor de una obra solo puede ser una persona física (nunca un SIAG o máquina) en base a lo siguiente: (1) Actividad creativa atribuible a la parte humana y no al SIAG y (2) La actividad creativa humana tiene que ser relevante y no insignificante. En consecuencia, salvo que se cumplan estos requisitos (o los de la primera cuestión) los contenidos no son susceptibles de protección por el derecho de autor
Por otro lado, para considerarse la posibilidad de obtener otro tipo de derechos de uso debería revisarse los términos y condiciones del SIAG (por ejemplo, OpenAI, Midjourney, etc.)
Por último, si el contenido es mío por ejemplo con una foto mía y un audio con mi voz, si la animo con IA ¿de quién es propiedad?
Como se ha comentado anteriormente, todo contenido generado por una máquina no es susceptible de protección por el derecho de autor. Por tanto, el titular originario de las imágenes no tendrá derechos de propiedad intelectual sobre el video generado a partir de ellas por un SIAG. Aunque sí podrá limitar o prohibir su explotación por terceros en la medida que se trata de una obra derivada de la imagen anterior y, la explotación de una obra derivada requiere la autorización el titular originario.
Por otro lado, cabe la posibilidad de que la labor del SIAG sea subsidiaria, poco relevante o fruto de un trabajo mecánico y con total falta de iter creativo, en este caso, podría entenderse que el titular originario de derechos es el autor de la imagen preexistente en la medida en que el trabajo del SIAG queda relegado a un trabajo asistencial (siendo utilizado como una herramienta que potencia y asiste a la labor creativa del usuario del SIAG).
En resumen, todas estas preguntas son de difícil respuesta, dado que lo esencial es analizar la incidencia humana en el contenido. Por tanto, en función del uso será necesario ampliar o concretar estas preguntas para dar la mayor cobertura posible.
Obligaciones para proveedores de sistemas de alto riesgo
Los proveedores de sistemas de alto riesgo enfrentan las obligaciones más completas, que incluyen establecer sistemas de gestión de riesgos, crear y mantener documentación técnica, garantizar prácticas de gobernanza de datos, diseñar sistemas con niveles adecuados de precisión y seguridad, implementar medidas de transparencia, permitir supervisión humana, realizar evaluaciones de conformidad, registrar sus sistemas en una base de datos de la UE, implementar sistemas de gestión de calidad, tomar medidas correctivas cuando se detecte incumplimiento, informar a las autoridades sobre incidentes graves y cooperar con las autoridades de vigilancia del mercado.
Obligaciones para proveedores de modelos de IA de uso general
La regulación introduce reglas especiales para modelos de IA de uso general que podrían conllevar riesgos sistémicos, incluyendo requisitos de transparencia sobre datos y procesos de entrenamiento, medidas adecuadas de protección de derechos de autor, evaluación y mitigación de riesgos para modelos que puedan plantear riesgos sistémicos, informar sobre incidentes graves a las autoridades, y adherirse a códigos de buenas prácticas desarrollados específicamente para IA de uso general.
Obligaciones para implementadores de sistemas de alto riesgo
Las organizaciones que utilizan sistemas de IA de alto riesgo también tienen responsabilidades significativas: usar los sistemas según las instrucciones del proveedor, garantizar supervisión humana durante la operación, monitorear el rendimiento del sistema e informar sobre incidentes graves, mantener registros generados automáticamente por el sistema, realizar evaluaciones de impacto cuando se procesan datos personales, y proporcionar información a las personas afectadas según corresponda.
Obligaciones para proveedore de sistemas de riesgo sobre transparencia
Todos los proveedores de sistemas de IA que interactúan con humanos, generan o manipulan contenido, o utilizan sistemas de reconocimiento de emociones o categorización biométrica deben garantizar una transparencia adecuada, notificando a las personas cuando interactúan con un sistema de IA, etiquetando el contenido generado por IA, informando a las personas cuando están sujetas a reconocimiento de emociones o categorización biométrica, y diseñando sistemas para ser transparentes sobre sus capacidades y limitaciones.
Como y cuando debe implementarse.
La Ley de IA sigue un enfoque de implementación por fases para permitir un tiempo de preparación adecuado para todas las partes interesadas:
Implementación y gobernanza
Todo este proceso establece unas fechas clave para su implementación, creando organismos que gobiernan y vigilan el cumplimiento de esta normativa.
Fechas clave de la implementación:
- La regulación entró en vigor el 1 de agosto de 2024
- Las prohibiciones y obligaciones de alfabetización en IA se aplicarán a partir del 2 de febrero de 2025
- Las reglas de gobernanza y obligaciones para modelos de IA de uso general se aplicarán desde el 2 de agosto de 2025
- Las reglas para sistemas de IA de alto riesgo se aplicarán completamente desde el 2 de agosto de 2026
- Los sistemas de IA de alto riesgo integrados en productos regulados tienen un período de transición extendido hasta el 2 de agosto de 2027
El marco de gobernanza establecido por la ley incluye:
- La Oficina Europea de IA: Un organismo dedicado dentro de la Comisión Europea responsable de implementar, supervisar y hacer cumplir la Ley de IA a nivel de la UE
- Autoridades Nacionales de Supervisión: Organismos designados por los Estados miembros para supervisar el cumplimiento a nivel nacional
- El Consejo de IA: Un mecanismo de coordinación que reúne a representantes de las autoridades nacionales para garantizar una aplicación coherente
- El Comité Científico: Un órgano asesor que proporciona experiencia científica
- El Foro Consultivo: Una plataforma para consulta más amplia con la industria, la sociedad civil y expertos
Impacto y sanciones
La Ley de IA tendrá implicaciones de gran alcance para diversas industrias y la sociedad en general. Para las empresas, crea tanto desafíos de cumplimiento como oportunidades para desarrollar sistemas de IA más confiables. El enfoque basado en riesgo significa que muchas aplicaciones de IA de bajo riesgo enfrentarán una carga regulatoria mínima, permitiendo que la innovación continúe en estos ámbitos.
Para garantizar el cumplimiento, la ley establece un régimen de sanciones significativas. Se impondrán multas a las empresas que no cumplan con las normas, que oscilan entre:
- 35 millones de euros o el 7% del volumen de negocios anual mundial (si esta cifra es superior) por infracciones relacionadas con aplicaciones de IA prohibidas
- 15 millones de euros o el 3% por incumplimiento de otras obligaciones
- 7,5 millones de euros o el 1,5% por la presentación de información incorrecta.
Se prevén topes más proporcionados para las multas administrativas a las PYMES y empresas emergentes en caso de infracción de la Ley de IA, reconociendo los desafíos específicos que enfrentan las organizaciones más pequeñas.
Conclusiones
La Ley de IA europea representa un logro histórico en la regulación tecnológica, estableciendo el primer marco jurídico integral para la inteligencia artificial a nivel mundial. Con su enfoque basado en riesgos que equilibra la innovación con la protección, la regulación establece un nuevo estándar que probablemente influirá en la gobernanza de la IA a nivel global.
El reglamento aborda riesgos reales mientras evita la sobrerregulación de aplicaciones benignas, establece límites claros a través de prácticas prohibidas mientras proporciona flexibilidad para la innovación, y crea responsabilidad a lo largo de toda la cadena de valor de la IA. Además, se construye sobre marcos existentes de la UE para seguridad de productos, protección de datos y derechos fundamentales.
Sin embargo, persisten desafíos. La regulación introduce requisitos de cumplimiento complejos que exigirán recursos significativos de las organizaciones. Determinar qué sistemas califican como de «alto riesgo» puede resultar difícil en la práctica. Y a medida que la tecnología de IA continúa evolucionando rápidamente, el marco regulatorio deberá adaptarse en consecuencia.
El impacto de la regulación también dependerá de su implementación y aplicación. Las autoridades nacionales jugarán un papel crucial en la interpretación de los requisitos y en garantizar el cumplimiento, potencialmente llevando a cierta variación entre Estados miembros a pesar de los objetivos de armonización.
Para los ciudadanos europeos, la regulación promete mayor protección contra los posibles daños de la IA mientras permite la innovación beneficiosa. Para las empresas, crea tanto desafíos de cumplimiento como oportunidades para construir sistemas de IA confiables que pueden disfrutar de mayor aceptación por parte de los consumidores.
En última instancia, la Ley de IA de la UE representa un ambicioso intento de dar forma al futuro de una tecnología transformadora en alineación con los valores y derechos humanos. Su éxito dependerá de una implementación reflexiva, una aplicación efectiva y una adaptación continua a medida que la tecnología de IA y sus aplicaciones evolucionan.
