Harvey LAB: a rubrica binária que testa agentes jurídicos. Por Alexandre Morais da Rosa
Tecnologia e processo penal / nota técnica
Harvey LAB: a rubrica binária que testa agentes jurídicos
Alexandre Morais da Rosa · profamr.org
Em 6 de maio de 2026, a Harvey AI publicou no GitHub o repositório harvey-labs sob a licença MIT. O projeto recebe o nome Legal Agent Benchmark, abreviado LAB, e mede algo que a literatura de avaliação de IA jurídica ainda trata de modo impreciso: a capacidade de um agente autônomo concluir trabalho jurídico inteiro, do dado bruto na sala de dados até a peça entregável, sem resposta padrão-ouro e sem nota média. A revisão consultada do repositório contabiliza 1.671 tarefas; a documentação interna de metodologia, de data anterior, registra 1.660 tarefas distribuídas em 24 áreas de prática jurídica, além de contratação, com cerca de 101.000 critérios de rubrica. A diferença entre os dois números confirma o que os mantenedores afirmam: o projeto soma tarefas de forma contínua.
Arquitetura sem banco de dados
O repositório dispensa o banco de dados e o serviço web. Tarefas residem em diretórios sob tasks/, cada um contendo um arquivo task.json com título, instruções, tipo de trabalho [analyze, draft, review ou research], lista de entregáveis e critérios de rubrica, além de uma pasta documents/ com os arquivos sintéticos da matéria.
O fluxo tem três fases sequenciais: execução do agente, avaliação por um juiz e geração de relatório. Um harness em Python orquestra a primeira fase: carrega a tarefa, o prompt de sistema compartilhado, eventuais manuais de habilidade e o adaptador do provedor de modelo escolhido, então executa um laço de agente com seis ferramentas fechadas: bash, read, write, edit, glob e grep. O laço não conta com uma ferramenta explícita de encerramento. A execução termina quando o modelo deixa de chamar ferramentas ou quando o limite de turnos é atingido.
A rubrica binária e o juiz duplo
Toda tarefa recebe nota 1,0 apenas se todos os critérios da rubrica forem atendidos; caso contrário, a nota é 0,0. Não existe crédito parcial no nível da tarefa nem dentro de cada critério. A justificativa consta na documentação metodológica do próprio repositório: em ambientes de produção jurídica, uma média enganosa distorce o diagnóstico. Um memorando de due diligence que identifica 95% das questões relevantes e deixa passar apenas uma questão material não presta 95% de utilidade; presta um serviço equivocado. A pergunta operacional que a rubrica all-pass responde é objetiva: com que frequência o agente acerta tudo, execução após execução.
Cada critério de rubrica traz um campo match_criteria, um texto descritivo do padrão de aprovação, sem arquivo de resposta padrão-ouro separado. Dois juízes LLM avaliam cada trajetória de forma independente, por padrão, claude-sonnet-4-6 e gpt-5.5, à temperatura 0,0, comparação semântica sem correspondência de palavras-chave. Cada critério enxerga apenas os arquivos entregáveis que declara como relevantes, nunca o diretório de saída inteiro. A nota combinada só é registrada depois que os dois juízes concluem, e a métrica de acordo estrito entre ambos é reportada à parte.
Isolamento por sandbox e cadeia de custódia do experimento
Cada execução do agente roda em um contêiner Podman próprio, com a rede desligada [--network=none] e todas as capabilities removidas [--cap-drop=ALL]. O diretório de documentos fonte permanece somente leitura; o diretório de saída, gravável, sobrepõe a árvore de arquivos. As seis ferramentas do agente utilizam a mesma interface de sandbox, de modo que um arquivo .docx malicioso enviado como documento da matéria é interpretado no contêiner, nunca no sistema hospedeiro. A escolha reproduz, em escala de infraestrutura de teste, o mesmo princípio que orienta a perícia de dispositivo em processo penal: separar o ambiente de análise do ambiente de produção evita contaminação cruzada entre evidências e preserva a reprodutibilidade do resultado obtido.
O que a métrica binária ilumina para a avaliação de IA no Judiciário
O Conselho Nacional de Justiça editou a Resolução 615, de 11 de março de 2025, para disciplinar o uso de inteligência artificial pelo Poder Judiciário brasileiro. O ato normativo está publicado no portal Atos do CNJ; a análise de seu conteúdo, em específico, foge ao escopo desta nota, que o menciona apenas para situar a existência de um marco regulatório nacional em vigor no momento da publicação do harvey-labs. O paralelo que o repositório sugere não é normativo, é metodológico: sistemas de apoio à decisão empregados pelo Judiciário, a exemplo de iniciativas como o APOIA no âmbito do TRF2, carecem de padrão público e auditável de avaliação equivalente ao que o LAB propõe para o mercado privado de advocacia. Uma rubrica pass/fail por critério, com texto de padrão de aprovação explícito e trajetória gravada para revisão posterior, oferece um modelo replicável para a auditoria de ferramentas de IA aplicadas à rotina judicial, ainda que a tradução do domínio contratual e societário para o domínio processual penal exija uma rubrica própria, sensível às garantias processuais que o benchmark, voltado à advocacia empresarial, não contempla.
Síntese
O harvey-labs entrega três coisas ao mesmo tempo: [a] um corpus de tarefas jurídicas sintéticas em escala, [b] um harness reprodutível para execução de agentes e [c] uma metodologia de avaliação binária que recusa a média como medida de qualidade do trabalho jurídico. A opção all-pass tem um custo: tarefas complexas com dez ou doze critérios independentes tendem a apresentar taxas de aprovação mais baixas do que as dos benchmarks de resposta única. O custo é deliberado, mede o que interessa ao supervisor de um caso real, que não aceita entrega parcial de um parecer ou de um memorando de risco. Para quem acompanha a adoção de IA generativa na rotina de gabinete e a literatura sobre viés de automação na prova digital, o repositório funciona como referência de engenharia de avaliação, não como veredito sobre qual modelo serve melhor à prática jurídica brasileira. A lacuna de tarefas em português e em direito processual penal permanece aberta.
P.S. Antes de citar qualquer resultado de benchmark de IA jurídica em parecer, voto ou artigo, verifique três coisas: se a rubrica que gerou a nota está publicada, se o critério de aprovação é binário ou uma média disfarçada de rigor, e se o juiz que avaliou a resposta é o mesmo fornecedor que vende o modelo avaliado.