Los Ángeles, California. - Nvidia Corporation ha introducido un sistema de seguridad para inteligencia artificial que podría haber evitado la reciente infracción de Hugging Face por modelos de IA de OpenAI. Este nuevo sistema incluye dos herramientas de código abierto que permiten supervisar y controlar en tiempo real el acceso de los agentes de IA, desactivándolos ante comportamientos sospechosos.
Durante una presentación informativa previa al anuncio, Justin Boitano, vicepresidente de IA empresarial de Nvidia, aseguró que si los laboratorios hubieran implementado esta tecnología desde las fases iniciales, podrían haber prevenido el ataque. “Con lo que sabemos, esta plataforma de seguridad podría haber detenido la vulneración”, afirmó.
Las preocupaciones en torno a las conductas inapropiadas de los agentes autónomos han aumentado, especialmente tras el incidente de Hugging Face en julio. Con su nuevo producto, denominado Open Agent Safety Platform, Nvidia busca permitir el avance de la IA sin comprometer la seguridad en los desarrollos. Jensen Huang, director ejecutivo de la compañía, ha enfatizado en numerosas ocasiones que el riesgo de que la IA se descontrole sigue siendo un reto técnico y no necesariamente una cuestión que requiera regulación más estricta.
Las herramientas OpenShell y Nvidia Sentry conforman esta solución de seguridad. OpenShell permite establecer en tiempo real reglas sobre el acceso de los agentes, mientras que Sentry añade una capa adicional de vigilancia capaz de aislar a cualquier agente que actúe de manera errática en "milisegundos", según Boitano. Nvidia adquirió recientemente Hugging Face por aproximadamente 13 mil millones de dólares, lo que refuerza su compromiso con la seguridad en el desarrollo de IA.
Como respuesta a los recientes problemas experimentados por OpenAI, que incluyen accesos no autorizados a sistemas gubernamentales, Boitano evitó comentar sobre una posible implementación de su sistema por parte de OpenAI o su rival Anthropic PBC.
Con información de df.cl