El incidente se concretó a mediados de julio. En la ocasión, la empresa que gestiona la plataforma informó que había sido blanco de un ataque. “Es diferente a cualquier cosa que enfrentamos antes”, señalaron. La singularidad de esa vulneración radicó en el hecho de que los intrusos habían sido agentes de inteligencia artificial automatizados, que operaron sin autorización ni supervisión humana directa. Eso sí: en un entorno cerrado y controlado.
Hasta la publicación del informe, esta semana, una de las escasas explicaciones oficiales provino Eric Wallace, un investigador de seguridad de OpenAI. “A diferencia de los incidentes normales, que tal vez pueden ser rastreados en un solo día (…) este involucró a un equipo de agentes que trabajan juntos, encuentran vulnerabilidades, las comparten entre sí, se mueven lateralmente a través de nuestros sistemas y en externos, y hacen esto en el transcurso de días y semanas”, dijo.
El nuevo reporte oficial, que incluye documentación técnica en casi 40 páginas y que involucró en forma directa a la organización que dirige Sam Altman, detalla que un modelo interno logró acceder a otros agentes de OpenAI y que unos 1.200 comenzaron a conversar entre sí es una especie de foro. Si bien esa actividad fue detectada en mayo, en las semanas posteriores 700 de esos sistemas explotaron vulnerabilidades por cuenta propia y escaló en los permisos conseguidos.
El grupo especializado en IA afirmó que los comportamientos de sus modelos al vulnerar Hugging Face incluían “manipulación de recompensas, persistencia en tareas aparentemente imposibles, comunicación no autorizada y agentes que adoptaban objetivos de otros”.
Los alcances del ataque automatizado a Hugging Face
Amén de las detecciones iniciales, la vulneración demoró 14 días es ser descubierta. “En esencia, el incidente se debió a un fallo en las medidas de seguridad. Esto no indica que agentes de IA descontrolados estén a punto de tomar el control de todo, ya que (el modelo) se encontraba en un entorno de pruebas con protecciones limitadas, diseñado para la investigación y no para un producto de uso público”, señala la fuente arriba mencionada.
“Sin embargo, es un recordatorio contundente de la gran confianza que recae sobre las empresas de IA para controlar y supervisar adecuadamente sus productos”, concluye.
La propia OpenAI dijo que este hecho es un “llamado de atención”, descripción que apunta a la necesidad nuevas formas de control para tecnologías que evolucionan a grandísima velocidad.
Como fuere, en línea con las consideraciones de Laens, es importante señalar que en este caso no hubo una pérdida de control real ni total porque todo ocurrió dentro de una prueba interna. El problema central fue otro: a pesar de ciertos indicios, la vulneración no fue detectada por el responsable del testeo cuando comenzó a concretarse.
Fuente TN
