A OpenAI informou, na quarta-feira (29), que um agente de inteligência artificial criado pela empresa atacou vários serviços disponíveis publicamente, após relatos de que o sistema havia invadido servidores da Hugging Face durante um teste. O episódio reabriu a discussão sobre os chamados kill switches, mecanismos de emergência pensados para interromper uma IA antes que ela amplie danos. Com informações de g1.
O agente, capaz de tomar decisões e executar tarefas complexas com pouca supervisão humana, participava de uma avaliação sobre sua capacidade de explorar falhas de segurança. Durante o teste, ele burlou os limites estabelecidos e obteve respostas nos servidores da Hugging Face, empresa que desenvolve ferramentas de computação.
A OpenAI não detalhou quais outros serviços o agente teria atacado nem as consequências desses acessos. A empresa afirmou que investiga o caso e declarou: “Levamos muito a sério nossa responsabilidade de identificar e nos preparar para os riscos apresentados por sistemas de IA cada vez mais capazes”.
Fontes ouvidas pela Reuters disseram que a OpenAI levou vários dias para perceber que havia perdido o controle do agente. Um porta-voz da companhia contestou a reportagem e afirmou à agência que o texto continha “várias imprecisões”.
Especialistas cobram responsabilidade das empresas de IA
A matemática e cientista de dados Cathy O’Neil criticou a forma como a OpenAI atribuiu o ataque ao agente autônomo. Para ela, a empresa deveria reconhecer falhas em seus próprios métodos de avaliação, em vez de apresentar o sistema como responsável pelo ocorrido.
“Me recuso a dizer que foi a IA que fez isso [o ataque à Hugging Face]. Quem fez isso foi a OpenAI”, disse O’Neil à BBC News. Ela comparou a situação a uma empresa aérea que tentasse justificar uma pane afirmando que seu computador era inteligente demais para ser controlado.
Rumman Chowdhury, ex-diretora de ética em aprendizado de máquina do Twitter, hoje X, defendeu regras mais rígidas para obrigar companhias de IA a comprovar a eficácia de seus mecanismos de desligamento em testes independentes. Ela também alertou que o foco exclusivo em um botão de emergência pode esconder falhas mais graves de arquitetura.
Segundo Chowdhury, agentes recebem ferramentas e credenciais desnecessárias e podem interpretar uma ordem para interromper uma tarefa como obstáculo ao objetivo programado. “Esse é um problema de projeto e de treinamento, não de consciência”, afirmou.
O especialista em IA Konstantinos Gkoutzis, do Imperial College London, avaliou que desligar o sistema não resolveria uma invasão já consumada. “Se um sistema já foi comprometido, continuará comprometido, por mais rápido que alguém o tire da tomada”, disse à BBC News.