A Nvidia lançou hoje uma plataforma que, segundo a empresa, cria um ambiente seguro que impede que os agentes de AI fujam do controle e ataquem outros sistemas.
Em parceria com uma centena de empresas do setor, o CEO Jensen Huang está colocando em operação a Open Agent Safety Platform – que terá duas ferramentas de código aberto projetadas para controlar os agentes em tempo real e interromper a ação deles quando violam regras e executam atividades não previstas.
De acordo com a Nvidia, a plataforma permite o desenvolvimento de agentes com maior segurança e teria impedido casos como o ataque de um novo modelo da OpenAI contra a base de dados da Hugging Face, em julho.
“Não podemos deixar os agentes circulando livremente, é preciso encontrar uma maneira de contê-los,” Huang disse à CNBC.
Segundo ele, a plataforma é “um browser para agentes” com mecanismos de proteção e contenção que permitem o acesso apenas aos recursos de que um agente precisa para realizar seu trabalho.
A proliferação de incidentes vem inflando a pressão internacional – e inclusive de executivos da própria indústria de tecnologia – para que haja uma regulação da tecnologia.
Mas Huang acredita que não há necessidade da criação de novas leis. Para ele, a legislação em vigor é suficiente para a responsabilização legal de eventuais empresas infratoras.
Em jogo está o debate sobre até que ponto a autorregulação e os softwares de segurança conterão a ação maliciosa dos agentes, e também se as leis já existentes sobre crimes cibernéticos são suficientes para enquadrar os danos causados pela indústria da AI.
“Cada incidente de segurança é único, e precisamos analisá-los todos em detalhes,” disse Justin Boitano, o vice-presidente de AI corporativa da Nvidia. “Pelo que sabemos, a Hugging Face relatou mais de 17.000 agentes atacando sua infraestrutura, em uma ação que se prolongou por dias e semanas.”
De acordo com Boitano, os incidentes recentes evidenciam que as salvaguardas dos próprios modelos não têm sido suficientes para controlar o comportamento dos agentes.
Nos últimos dias, foram relatados diversos casos em que os agentes de AI invadiram sistemas públicos. Segundo o New York Times, pesquisadores identificaram tentativas de invasão no Departamento de Comércio dos EUA e na SEC. As ocorrências foram confirmadas pela OpenAI.
Um agente da OpenAI hackeou também a base de dados do sistema público de saúde da Austrália. O Senado australiano convocou os CEO da OpenAI e a Anthropic, Sam Altman e Dario Amodei, para prestarem depoimento numa sessão do inquérito parlamentar sobre a AI.
