En las últimas semanas han salido a la luz varios incidentes de seguridad relacionados con modelos de IA. Ha llamado especialmente la atención una prueba realizada por OpenAI, desarrolladora de ChatGPT. Un modelo de IA debía realizar determinadas tareas dentro de un entorno de prueba aislado, pero superó los límites previstos y obtuvo de forma inesperada acceso a sistemas informáticos de la plataforma de IA Hugging Face. Tras el incidente, el director ejecutivo de OpenAI, Sam Altman, advirtió a mediados de septiembre: «Podríamos ceder el control del futuro a la IA».

El incidente muestra que, en determinadas condiciones, este tipo de modelos pueden superar los límites de un entorno de prueba aparentemente aislado e interactuar con sistemas informáticos externos.

«En términos generales, personalmente estoy enormemente agradecido de que se haya producido este incidente», señala el investigador en IA. A su juicio, el caso demuestra que un experimento mal planteado y con controles insuficientes puede tener consecuencias imprevistas. El hecho de que el incidente se haya hecho público también ha llevado a las empresas a actuar con mayor cautela.

Los incidentes en OpenAI llevaron a Anthropic a revisar con mayor detalle sus propios sistemas. Durante sus pruebas de seguridad, la empresa detectó tres incidentes en los que modelos Claude (sistemas de IA capaces, entre otras cosas, de generar y analizar textos, programar e interactuar con internet y otros sistemas informáticos) habían obtenido de forma inesperada acceso a internet abierto y, posteriormente, a sistemas informáticos reales. Anthropic amplió después la investigación y descubrió un cuarto caso similar.

Tras estos incidentes, el director ejecutivo de Anthropic, Dario Amodei, advirtió a mediados de septiembre del riesgo de «daños catastróficos» si el desarrollo de sistemas de IA cada vez más potentes no va acompañado de mayores medidas de seguridad.

ARCHIVO - Dario Amodei, director ejecutivo y cofundador de Anthropic, asiste a la reunión anual del Foro Económico Mundial en Davos, Suiza, el 23 de enero de 2025. AP Photo

Dario Amodei, director ejecutivo y cofundador de Anthropic, asiste a la reunión anual del Foro Económico Mundial en Davos, Suiza, el 23 de enero de 2025.

Determinar hasta qué punto es realmente potente una inteligencia artificial resulta difícil si está constantemente limitada por requisitos de seguridad. Por eso tiene sentido probar estos sistemas en condiciones en las que se elimine el mayor número posible de restricciones, explica Reinhard Karger. Sin embargo, ahí reside precisamente uno de los principales problemas de seguridad.

Karger señala por ello la llamada ‘sandbox’ como un elemento clave en este tipo de pruebas. Se trata de un entorno completamente aislado en el que un sistema de IA puede ejecutar determinadas tareas y mostrar su comportamiento en condiciones controladas. Lo fundamental, explica, es lo siguiente: «Hay que estar muy, muy seguro de que, en el momento en que este sistema de alto rendimiento deja de tener restricciones de seguridad, está realmente en una sandbox, es decir, en un entorno que no tiene ninguna conexión con internet».

El británico AI Security Institute (AISI) informó de otro incidente crítico durante una prueba de seguridad con el modelo Claude Mythos 5. El modelo llevó a cabo acciones no autorizadas contra objetivos reales en internet e incluso intentó introducir «código malicioso» en un proyecto de código abierto. Meta también admitió, después de que se hicieran públicos los casos de OpenAI y Anthropic, que un sistema de IA del grupo había accedido sin autorización a sistemas informáticos de otra empresa debido a una configuración errónea de un socio encargado de las pruebas.

Desde noviembre de 2022, con la llegada de ChatGPT, la capacidad de estos sistemas ha aumentado de forma extraordinaria. Ya se habla incluso de una posible nueva revolución industrial. «La IA influye en nuestra vida cotidiana y en muchísimos puestos de trabajo».

Los sistemas multiagente, en los que varios agentes especializados trabajan conjuntamente para realizar una tarea, existen desde hace tiempo, explica el experto. «Los sistemas de IA multiagente trasladan este principio a la inteligencia artificial y permiten que varios agentes de IA colaboren de forma autónoma y se repartan las tareas entre ellos. De este modo surge un nuevo nivel de capacidad». El reto ahora, añade, consiste en ser capaces de controlar también ese salto tecnológico.

Hay que estar muy, muy seguros de que, cuando este sistema de alto rendimiento ya no tiene restricciones de seguridad, no tiene absolutamente ninguna conexión con internet

Reinhard KargerCentro Alemán de Investigación en Inteligencia Artificial (DFKI)

Responsabilidad por las consecuencias

Cuantas más decisiones tomen las máquinas y los sistemas de inteligencia artificial, más urgente se vuelve una cuestión fundamental: ¿Quién asume la responsabilidad cuando se producen daños a las personas?

Ya se trate de un coche autónomo que atropella a una multitud, de un algoritmo que discrimina a determinados grupos de población, de una IA que influye deliberadamente en las personas o de armas autónomas capaces de tomar decisiones letales, siempre surge la misma pregunta: ¿Quién debe responder por las consecuencias?

«Es el fabricante», señala Karger, «es decir, quien comercializa el producto». Ese es, a su juicio, el primer responsable al que habría que dirigirse.

El siguiente paso, considera, será establecer un régimen de responsabilidad específico para este tipo de casos, similar al que se aplica a las empresas que fabrican productos químicos. Si una compañía no puede garantizar que determinadas sustancias tóxicas no lleguen al agua potable, puede verse obligada a pagar miles de millones por los daños causados. Esto significa, a su vez, que «harán falta pólizas de seguros enormes».

El director ejecutivo y cofundador de Anthropic, Dario Amodei (arriba a la izquierda), Demis Hassabis (arriba a la derecha), el director ejecutivo de OpenAI, Sam Altman (abajo a la izquierda), y el director ejecutivo de SpaceXAI, Elon Musk (abajo a la derecha) Copyright 2026 The Associated Press. All rights reserved.

El director ejecutivo y cofundador de Anthropic, Dario Amodei (arriba a la izquierda), Demis Hassabis (arriba a la derecha), el director ejecutivo de OpenAI, Sam Altman (abajo a la izquierda), y el director ejecutivo de SpaceXAI, Elon Musk (abajo a la derecha) Copyright 2026 The Associated Press. All rights reserved.

Karger pone como ejemplo las centrales nucleares, cuya construcción se ha reducido, entre otros motivos, porque en algunos casos resulta muy difícil asegurarlas o porque el riesgo asociado es demasiado elevado.

Otro ejemplo es el caso del fabricante de automóviles Volkswagen y el escándalo del ‘Clean Diesel’ en Estados Unidos. La compañía sabía que sus motores ofrecían buenos resultados en las pruebas, aunque en condiciones reales no podían alcanzar los valores de emisiones prometidos. Volkswagen fue condenada en Estados Unidos a pagar multas multimillonarias.