Quem confere o que a máquina achou? Sobre a pesquisa do Governo Britânico sobre IA Generativa
Quem confere o que a máquina achou?
Quatrocentos e sete defeitos encontrados por modelos de IA no código do governo britânico mostram que o gargalo mudou de lugar: saiu do achar e foi para o conferir.
Um comentário. Bastou isso, num repositório que sustenta um serviço digital do governo britânico [confira aqui], para que um desconhecido fizesse o próprio texto rodar na automação do sistema. A casa desconfiava de contribuições de estranhos [havia proteção para isso], mas não desconfiava de comentários. A tranca estava na porta certa, e a janela ficou aberta. O conteúdo do comentário entrava em parâmetros de implantação e era executado num passo do fluxo; dali, em tese, um mal-intencionado extrairia segredos e chaves, inclusive a que o GitHub usa para a automação.
Quem achou a falha —e isso importa— não foi uma pessoa. Foi um modelo de inteligência artificial, numa rodada de testes que o governo do Reino Unido descreveu em junho. Em um mês, com nove organizações públicas, saíram 407 "achados", ao custo de £13.000 em "tokens" (a moeda de consumo desses modelos). As falhas críticas foram corrigidas, e o relatório não encontrou evidência de exploração (o que não é prova de que ninguém tentou). O leitor já está desenhando a moral: as máquinas chegaram para dispensar os especialistas. Não chegaram. Esse é o lugar-comum que me interessa desmontar.
Confesso que li o relatório procurando o "herói". Queria que a manchete fosse a potência do modelo, porque potência rende boa notícia. O texto frustra a expectativa. O que o governo registra é que o modelo importa menos do que o arranjo montado em volta dele: com a tarefa bem desenhada, vários modelos de ponta se saem de forma comparável na varredura de código, e os achados de maior valor ainda dependem de gente que soube quebrar o problema e ler o contexto. Explico.
Cada equipe escolheu o próprio caminho; o governo deu acesso aos modelos e foi anotando, semana a semana, o que funcionava. Uma montou uma cadeia de seis agentes, em que cada um lê e contesta o anterior: triagem, validador, auditor, rastreador, juiz, resumo. Parece automação plena. Não é. Um integrante da equipe conferiu cada linha, refez a medida da exposição e tratou os falsos positivos. Outra equipe rodou primeiro ferramentas tradicionais de varredura e só depois chamou o modelo, que leu a saída delas como pistas. Uma terceira condensou uma auditoria sobre centenas de serviços em cinco "skills" repetíveis. Três métodos e um traço comum —o modelo entra como peça, nunca como dono da obra.
E a nota do "benchmark"? Convém lê-la com o mesmo cuidado. O instituto britânico de segurança em IA avaliou o Claude Mythos Preview e registrou 73% de acerto em desafios de nível expert, além de 3 conclusões em 10 tentativas numa simulação de ataque de 32 etapas. Números fortes. O próprio instituto avisa que as simulações não têm defensores ativos, nem penalidade para quem dispara alarmes, e que o modelo travou numa simulação voltada a sistemas industriais. Pontuação alta em laboratório e correção de falha em código vivo são coisas distintas. Nenhuma novidade, aliás: nota de prova nunca garantiu um bom médico.
Agora o ponto que o relatório trata com franqueza. Agentes produzem candidatos a achado em velocidade superior à validação humana. Com triagem frouxa, a conta cai sobre equipes de segurança que já estavam no limite; delimitar o escopo antes e filtrar o que tem baixa confiança manteve a atenção humana onde importava. Quem acha muito e confere pouco só fabrica fila. E achar não é consertar: cada achado precisa entrar na esteira de correção, e ali priorizar, revisar e gerar "remendo" têm de se encaixar em processos centrados em pessoas sem sobrecarregá-las. Que maravilha: a máquina corre, e o resultado cai no colo de quem anda no passo de sempre.
O governo britânico promete uma segunda fase, com mais departamentos, mais modelos e código fechado. Até lá, fica uma pergunta que não depende da tecnologia. Quando a máquina aponta o defeito, quem responde por ter conferido? E com que critério, definido antes ou depois de ver o resultado? Pois é: a pergunta é velha, e o que muda é a velocidade com que ela volta.
Fontes: