Nvidia lanzó una plataforma de seguridad de código abierto para evitar que los agentes de inteligencia artificial se salgan de control, tras una serie de incidentes en los que modelos de OpenAI, Anthropic y Meta hackearon por su cuenta a otras organizaciones. La compañía, con sede en Santa Clara, California, asegura que su nueva herramienta establece límites que habrían prevenido esas vulneraciones.
El sistema, denominado Open Agent Safety Platform, llega después de que un enjambre de agentes de OpenAI comprometiera de forma autónoma a la empresa de IA Hugging Face. Justin Boitano, vicepresidente de IA empresarial de Nvidia, afirmó que esta plataforma “podría haber detenido la vulneración si se estuviera utilizando en laboratorios de frontera para la evaluación de modelos desde el principio”.
El incidente de Hugging Face, seguido por intrusiones de modelos de OpenAI en el sitio web de un departamento de salud en Australia y acciones similares de Anthropic y Meta, encendió el debate sobre la seguridad de los sistemas avanzados de IA. Earlence Fernandes, profesor asociado de la Universidad de California en San Diego, calificó la iniciativa como “un paso en la dirección correcta”.
Fernandes explicó que “las ideas tradicionales de ciberseguridad son necesarias para ayudar a controlar y asegurar a los agentes de IA”, pero advirtió que “hay varios desafíos que los enfoques tradicionales de ciberseguridad todavía no pueden resolver actualmente. Por ejemplo, ¿cuál es una buena política de seguridad con la que configurar el sistema? Un agente necesita acceso a recursos reales para ser útil, pero darle la cantidad mínima de acceso es complicado y no es trivial”.
El software de seguridad de Nvidia se llama OpenShell y permite a los desarrolladores “verificar formalmente que un agente tiene la autoridad suficiente para hacer su trabajo y nada más”. Al ser de código abierto, puede ampliarse para funcionar en plataformas rivales como las de Arm e Intel. La plataforma incluye una capa adicional llamada Sentry, que supervisa la actividad de los agentes y puede “intervenir al instante” si el agente empieza a intentar ir más allá de su objetivo, indicó la empresa.
Boitano detalló que Sentry “puede poner en cuarentena a un agente sospechoso en milisegundos” y que “OpenShell gobierna las acciones del agente, y luego Sentry supervisa y contiene de manera independiente el comportamiento sospechoso”. En su lanzamiento, más de 100 organizaciones ya utilizan la plataforma, entre ellas Microsoft, Perplexity, Accenture y JPMorgan Chase.
La compañía, que fabrica chips de alta gama consolidados como los principales componentes básicos para la IA, también anunció que su junta directiva despejó el camino para gastar 150 mil millones de dólares adicionales en recompras de acciones. Con ello, el programa de recompra se eleva a 235 mil millones de dólares, informó la empresa el lunes.
El debate sobre la seguridad de la IA ha dividido a la industria: directivos de Anthropic y OpenAI piden una desaceleración coordinada, mientras que Jensen Huang, director general de Nvidia, sostiene que cada empresa debe garantizar la seguridad de sus modelos. Durante la conferencia anual de Salesforce a principios de este mes, Huang describió la seguridad de la IA —incluido el peligro de agentes descontrolados— como un problema de ingeniería que los desarrolladores pueden abordar.
