El uso de la inteligencia artificial (IA) plantea importantes retos de ciberseguridad, protección de datos y cumplimiento normativo. Antes de incorporar estas herramientas a una organización, es necesario evaluar sus riesgos, definir su finalidad y establecer medidas de seguridad, formación y supervisión humana.
La inteligencia artificial se está incorporando a empresas y administraciones como una herramienta de uso cada vez más accesible. Sin embargo, contratar una aplicación y empezar a utilizarla no garantiza que sea adecuada para cualquier actividad. A diferencia de otros programas informáticos, los sistemas de IA requieren una evaluación previa de sus capacidades, limitaciones y riesgos.
Una implantación responsable exige definir los objetivos, comprobar la calidad de los datos, formar al personal y establecer controles que permitan obtener resultados fiables y respetar la legislación aplicable.
El Reglamento europeo de inteligencia artificial (RIA)
El Reglamento europeo de inteligencia artificial establece obligaciones para los distintos agentes que participan en el desarrollo, la comercialización y la utilización de sistemas de IA. Su enfoque combina la protección de los derechos fundamentales con la seguridad de las personas y la prevención de determinados riesgos.
La normativa europea establece prohibiciones para determinadas prácticas especialmente perjudiciales y clasifica los sistemas según su nivel de riesgo y sus características. De esta clasificación se derivan distintas obligaciones para proveedores, responsables del despliegue y otros agentes, incluidos los requisitos específicos aplicables a los modelos de IA de uso general.
La complejidad del reglamento hace recomendable adoptar buenas prácticas incluso cuando una obligación concreta no resulte aplicable a una herramienta. Estos principios pueden orientar tanto a organizaciones públicas como privadas.
1. Definir una finalidad clara
La implantación de un sistema de IA debe responder a una necesidad real de la organización. No basta con incorporar tecnología por moda o porque otras empresas ya la utilicen. Antes de elegir una solución, conviene determinar qué problema se quiere resolver, qué resultados se esperan y qué riesgos puede introducir.
Para ello, es necesario valorar qué tipo de herramienta resulta apropiada, ya sea un modelo de lenguaje grande (LLM), un chatbot u otro sistema especializado. La elección debe ajustarse a las necesidades, los recursos y las obligaciones legales de la organización.
La falta de una estrategia definida puede provocar resultados deficientes, problemas operativos, daños reputacionales e incumplimientos normativos. El riesgo aumenta cuando se emplea IA en ámbitos que afectan a la salud, la seguridad o los derechos de las personas.
Por ejemplo, utilizar un chatbot para orientar a pacientes o un modelo de lenguaje para apoyar decisiones clínicas requiere controles acordes con el contexto. Una herramienta que no ha sido validada para una finalidad determinada no debe considerarse adecuada simplemente porque produzca respuestas convincentes.
2. Evitar usos perjudiciales y prácticas prohibidas
La prevención del daño es un principio esencial para utilizar la IA de forma responsable. El RIA prohíbe determinadas prácticas que presentan riesgos especialmente graves para los derechos fundamentales, la autonomía y la seguridad de las personas. Su aplicación debe analizarse conforme a las definiciones, condiciones y excepciones previstas en la propia norma.
Principales categorías de prácticas prohibidas
- Manipulación del comportamiento: determinadas técnicas que emplean métodos subliminales, manipuladores o engañosos para distorsionar sustancialmente el comportamiento y provocar daños significativos.
- Explotación de vulnerabilidades: determinados usos que se aprovechan de la edad, una discapacidad o una situación social o económica específica para alterar sustancialmente el comportamiento y causar daños importantes.
- Puntuación social: sistemas que evalúan o clasifican a personas a partir de su comportamiento social o de características personales cuando esa clasificación produce determinadas consecuencias perjudiciales o un trato injustificado en los supuestos prohibidos por el reglamento.
- Predicción delictiva basada exclusivamente en perfiles personales: determinados sistemas que evalúan el riesgo de que una persona cometa un delito únicamente a partir de su perfil o rasgos personales, sin una evaluación basada en hechos objetivos y verificables relacionados con una actividad delictiva.
- Creación indiscriminada de bases de datos de reconocimiento facial: elaboración o ampliación de bases de datos mediante la extracción no selectiva de imágenes faciales de Internet o de grabaciones de circuitos cerrados de televisión.
- Inferencia de emociones en el trabajo y en centros educativos: determinados sistemas que infieren emociones en estos entornos, salvo las excepciones previstas por motivos médicos o de seguridad.
- Categorización biométrica sensible: determinados sistemas que clasifican individualmente a las personas mediante datos biométricos para deducir características sensibles, como sus opiniones políticas, creencias religiosas u orientación sexual.
- Identificación biométrica remota en tiempo real: su utilización por las autoridades policiales en espacios de acceso público está sometida a una prohibición general con excepciones estrictas y condiciones específicas previstas en el RIA.
Estas categorías son un resumen divulgativo y no sustituyen la consulta del texto legal. Además, el principio de uso responsable exige evitar aplicaciones destinadas a causar daños, vulnerar derechos o perseguir finalidades ilícitas, aunque no todas esas conductas constituyan por sí mismas una de las prácticas expresamente prohibidas por el RIA.
3. Garantizar una adecuada gobernanza de los datos
La gobernanza de datos es especialmente importante en los sistemas de IA de alto riesgo. El artículo 10 del Reglamento europeo de IA establece requisitos relacionados con los datos utilizados para entrenar, validar y probar estos sistemas.
Entre las cuestiones que deben evaluarse, cuando corresponda, destacan las siguientes:
- Origen y legitimidad: comprobar de dónde proceden los datos y si su recogida y utilización tienen una base legítima.
- Preparación de los datos: establecer procedimientos de anotación, etiquetado, depuración, actualización y enriquecimiento adecuados.
- Calidad y representatividad: verificar que los datos sean pertinentes y suficientemente representativos para la finalidad prevista.
- Integridad y disponibilidad: comprobar que los conjuntos de datos tengan la cantidad, la calidad y la disponibilidad necesarias.
- Detección de sesgos: identificar posibles sesgos que puedan afectar a la seguridad, los derechos fundamentales o la igualdad de trato, y adoptar medidas para prevenirlos o corregirlos.
- Contexto de utilización: considerar las características geográficas, sociales y funcionales relevantes para el sistema.
- Deficiencias y lagunas: detectar errores o carencias que puedan comprometer la fiabilidad de los resultados o el cumplimiento de la normativa.
La calidad de los datos influye directamente en los resultados de la IA. Una herramienta correctamente desarrollada puede ofrecer resultados inadecuados si se utiliza con información incompleta, desactualizada, sesgada o incompatible con la finalidad prevista.
Por ello, las organizaciones deben establecer procedimientos para mantener sus datos actualizados, verificar su calidad y asegurar el cumplimiento de las normas aplicables, incluido el Reglamento General de Protección de Datos cuando se traten datos personales.
Antes de contratar una solución de IA también resulta conveniente revisar la documentación del proveedor, las limitaciones conocidas, las condiciones de uso, las recomendaciones de seguridad y las responsabilidades de cada parte.
En los sistemas de alto riesgo, el RIA contempla requisitos específicos de conformidad y marcado CE cuando resulten aplicables. Las obligaciones concretas dependen de la categoría del sistema y del procedimiento de evaluación correspondiente. En otros sistemas también pueden existir obligaciones de transparencia y otros requisitos legales.
4. Garantizar la seguridad de los sistemas de IA
Los sistemas de IA pueden verse afectados por amenazas específicas, como la manipulación de datos de entrenamiento, las entradas diseñadas para alterar sus respuestas o el acceso indebido a información confidencial. También pueden introducir riesgos derivados de errores, integraciones inseguras o permisos excesivos.
Antes de implantar estas herramientas, la organización debería realizar un análisis de riesgos y definir medidas técnicas y organizativas proporcionadas a su uso. Entre ellas pueden figurar el control de acceso, la protección de datos, la revisión de resultados, la gestión de incidentes y la supervisión de las integraciones con otros sistemas.
La seguridad debe mantenerse durante todo el ciclo de vida de la solución. No basta con comprobar el sistema en el momento de su contratación: también es necesario revisar su funcionamiento y adaptar las medidas cuando cambien las condiciones de uso o aparezcan nuevos riesgos.
5. Formar al personal en inteligencia artificial
El artículo 4 del RIA establece que los proveedores y responsables del despliegue deben adoptar medidas para garantizar un nivel suficiente de alfabetización en materia de IA entre el personal y las personas que utilizan estos sistemas en su nombre. Deben tenerse en cuenta los conocimientos, la experiencia, la formación, el contexto de uso y las personas afectadas.
La formación debe permitir comprender las capacidades y limitaciones de las herramientas, reconocer posibles errores y sesgos, proteger la información confidencial y saber cuándo es necesaria la intervención humana.
La supervisión humana debe adaptarse al riesgo y a la finalidad del sistema. No consiste únicamente en que una persona esté presente, sino en que disponga de la información, la preparación y la capacidad necesarias para interpretar los resultados e intervenir cuando corresponda.
6. Supervisar el uso y definir responsabilidades
La incorporación de modelos de lenguaje y otras herramientas de IA plantea retos de control y responsabilidad. Las organizaciones deben definir con precisión para qué se utiliza cada sistema, quién puede acceder a él y qué decisiones requieren revisión humana.
También conviene documentar los procedimientos, asignar responsabilidades y establecer mecanismos para detectar usos no autorizados. Estas medidas ayudan a reducir el riesgo de que una herramienta se emplee para fines distintos de los previstos o se utilicen sus resultados sin una comprobación adecuada.
La expresión jurídica culpa in vigilando hace referencia, en determinados contextos, a la responsabilidad derivada de no ejercer la vigilancia exigible sobre otra persona cuando de ello se deriva un daño. Su aplicación no es automática: depende de las obligaciones de vigilancia existentes y de las circunstancias del caso.
El riesgo de utilizar herramientas de IA sin autorización
Una persona empleada podría introducir documentos internos, datos personales o información confidencial en una herramienta de IA no autorizada. Esto puede generar riesgos de privacidad, seguridad y cumplimiento, especialmente si se desconocen las condiciones de tratamiento de la información.
Por este motivo, las organizaciones deberían establecer una política de uso de la IA que indique qué herramientas están permitidas, qué información puede compartirse y qué controles deben aplicarse. Si se prohíbe el uso de determinadas herramientas, las instrucciones deben ser claras y acompañarse de formación y alternativas adecuadas.
También es posible que una herramienta contratada por la organización se utilice para una finalidad distinta de la autorizada. En ese supuesto, la formación, la asignación de permisos, la supervisión y la revisión de los resultados adquieren especial importancia.
Imaginemos el caso de un profesional sanitario que utiliza un modelo de lenguaje para apoyar un diagnóstico sin comprobar la idoneidad de la herramienta ni contar con la preparación necesaria para evaluar sus respuestas. Si el sistema ofrece información incorrecta y esta se utiliza sin las debidas comprobaciones, pueden producirse consecuencias graves para el paciente.
Este ejemplo ilustra por qué las herramientas de IA no deben sustituir automáticamente el criterio profesional, especialmente en actividades que afectan a la salud, la seguridad o los derechos de las personas.
7. Implantar una política de uso responsable de la IA
Una política interna debería recoger, como mínimo, las siguientes medidas:
- Definir los usos autorizados y las finalidades de cada herramienta.
- Establecer qué datos pueden introducirse y cuáles deben permanecer fuera de los sistemas externos.
- Determinar los niveles de acceso y las responsabilidades de cada usuario.
- Formar al personal sobre riesgos, limitaciones, privacidad y seguridad.
- Establecer mecanismos de revisión humana adecuados al nivel de riesgo.
- Documentar las decisiones relevantes y los procedimientos de control.
- Revisar periódicamente la eficacia de las medidas y actualizar la política cuando sea necesario.
La formación y la cultura digital son elementos esenciales para aprovechar las ventajas de la inteligencia artificial sin ignorar sus riesgos. Una implantación responsable requiere combinar tecnología, supervisión, calidad de los datos y cumplimiento normativo.
Conclusión
La inteligencia artificial puede mejorar numerosos procesos, pero su utilización exige planificación y controles proporcionados. Definir una finalidad clara, proteger los datos, analizar los riesgos, formar al personal y establecer responsabilidades son medidas fundamentales para reducir errores y prevenir daños.
La responsabilidad no termina con la contratación de una herramienta. Las organizaciones deben evaluar cómo se utiliza, comprobar la calidad de sus resultados y asegurarse de que su implantación respeta las obligaciones legales aplicables.
Fuente: Datos.gob.es: cómo preparar tus datos para trabajar con herramientas de inteligencia artificial.