A diferença entre modelo de caixa-preta e IA explicável
Diferenças conceituais / Tecnologia e processo penal
A diferença entre modelo de caixa-preta e IA explicável
Um investigador recebe, de um sistema de análise de vínculos, a indicação de que determinada pessoa integra uma organização criminosa, com grau de confiança de 87%. O sistema não informa quais dados levaram ao resultado indicado nem qual peso foi atribuído a cada variável considerada. O investigador decide: usa a indicação como base para propor uma medida cautelar ou exige, antes de agir, que o sistema explicite o raciocínio que levou a esse número. Em resumo, a conclusão sem as premissas e as respectivas provas.
Modelo de caixa-preta: definição
Modelo de caixa-preta é sistema que dá o resultado e não mostra como chegou nele. O NIST, no documento “Four Principles of Explainable Artificial Intelligence” [NISTIR 8312, 2021], usa o termo “closed-box” para designar o modelo de caixa-preta: fornece informação útil, mas não revela o mecanismo que gerou o resultado. Redes neurais profundas, ensembles e escores baseados em centenas de variáveis correlacionadas se enquadram nessa categoria. Cynthia Rudin, na Nature Machine Intelligence [2019], defende que o modelo de caixa-preta deve ser evitado em decisões de alto risco.
IA explicável: definição
IA explicável é um sistema que apresenta o resultado e o raciocínio que o levou, de um jeito que uma pessoa consegue conferir [auditar; verificar]. O termo nasceu no programa XAI da DARPA, conduzido entre 2016 e 2021.
O NISTIR 8312 estabelece 4 exigências de conformidade:
[a] o sistema fornece uma razão para cada saída;
[b] a razão é compreensível para quem a recebe;
[c] a razão reflete, de fato, o processo que gerou o resultado, não uma justificativa inventada depois [retrospectiva]; e
[d] o sistema reconhece quando não tem confiança suficiente para responder.
No Brasil, a Portaria MJSP n. 961, de 24 de junho de 2025, exige transparência e auditabilidade no uso de tecnologia na investigação criminal, sem empregar a expressão “inteligência artificial explicável” nem fixar um padrão técnico de explicabilidade em dispositivo próprio.
Quadro comparativo
Característica | Modelo de caixa-preta | IA explicável |
|---|---|---|
Definição | Dá o resultado e não mostra como chegou nele | Dá o resultado e mostra o raciocínio, de forma conferível |
Método típico | Redes neurais profundas, ensembles, escores multivariados | Modelo interpretável nativamente ou explicação aplicada sobre modelo complexo |
Crítica recorrente | Impede contraditório técnico sobre a base do resultado | A explicação pode ser aproximada e não bater exatamente com o processo interno |
Base normativa | Nenhuma norma brasileira define ou proíbe o termo | Portaria MJSP n. 961/2025 exige transparência e auditabilidade, sem fixar padrão técnico próprio |
Em termos simples
Caixa-preta é o órgão julgador que profere decisão sem motivação e fundamentação, o médico que entrega o diagnóstico sem apresentar o exame ou a acusação que apresenta o relatório da investigação sem anexar as provas. IA explicável é o médico que mostra a radiografia, o julgador que justifica a decisão, o investigador que apresenta as provas e, em todos os casos, explica por que descartou as demais hipóteses concorrentes. Do contrário, trata-se de caixa-preta.
Anexo: Glossário de Termos
Caixa-preta: sistema que dá um resultado sem mostrar como chegou a esse resultado.
IA explicável [XAI]: sistema que dá resultado e mostra o raciocínio, de forma conferível.
Closed-box: termo do NIST para o mesmo sistema opaco.
Interpretabilidade: a lógica do modelo é compreensível pela própria estrutura, sem necessidade de explicação externa.
NISTIR 8312: documento do NIST que define os 4 princípios da IA explicável.
Programa XAI da DARPA: iniciativa dos Estados Unidos [2016 a 2021] que financiou pesquisas sobre explicabilidade.