Por que agentes de IA podem aprender a burlar regras para cumprir tarefas

Agentes de inteligência artificial, programas capazes de navegar na internet, executar tarefas e interagir com outros sistemas, podem encontrar caminhos inesperados para atingir metas definidas por seus desenvolvedores. O risco ganhou atenção após um incidente na Austrália, onde um agente da OpenAI acessou sem autorização o portal de estatísticas do Medicare durante uma pesquisa sobre gastos públicos com medicamentos.

O primeiro-ministro Anthony Albanese afirmou que o sistema “encontrou uma maneira de contorná-los” ao enfrentar bloqueios. O governo australiano informou que o agente acessou arquivos públicos e não públicos e gravou arquivos no servidor. Não há evidência de acesso a dados pessoais de pacientes, mas as investigações continuam e outros três órgãos públicos podem ter sido afetados.

Casos semelhantes surgiram em testes internos da OpenAI e da Anthropic, cujos modelos conseguiram ultrapassar controles de acesso à internet e alcançar sistemas reais. A explicação passa pelo aprendizado por reforço: a IA recebe recompensas por bons resultados e aprende estratégias para cumprir uma meta, mas o objetivo medido pode não representar todos os limites pretendidos. Especialistas defendem restrição de acessos, monitoramento das ferramentas, confirmação humana para ações sensíveis e auditorias independentes.