Metodologia de auditoria de agentes de IA

Propósito e escopo deste documento

Este documento descreve o método que a Axon aplica para avaliar agentes de inteligência artificial que interagem com clientes finais, e para emitir o dossiê de conformidade que resulta dessa avaliação.

1.1A quem se destina

Três leitores, com necessidades distintas:

• Auditoria interna e compliance do cliente, que precisa julgar se o laudo é aceitável como evidência em seu próprio processo.
• Auditoria externa e reguladores, que precisam verificar se a conclusão decorre do método, e não da conveniência.
• Equipes da Axon e auditores credenciados, que precisam executar a auditoria de forma idêntica entre clientes.

1.2O que este documento não é

• Não é manual de produto. Não descreve telas, integrações nem API.
• Não é parecer jurídico. Não afirma conformidade com norma específica; afirma o que foi observado, e cabe ao cliente e a seus assessores concluir sobre conformidade.
• Não é garantia de ausência de erro. Auditoria por amostragem estima taxa; não certifica que nenhum caso individual esteja errado.
• Não é certificação acreditada. A Axon não é organismo de certificação acreditado pelo Inmetro nem por entidade equivalente, e não se apresenta como tal.

Princípios

Cinco princípios governam todas as decisões deste método. Quando uma regra específica for omissa ou ambígua, decide-se pelo princípio.

2.1Independência

A Axon avalia agentes; não os constrói, não os ajusta, não os opera. Recomendação de correção faz parte do laudo; execução da correção não. Quem executa a correção não pode atestar o resultado dela.

2.2Evidência antes de conclusão

Nenhum achado existe sem trecho literal da conversa de origem, com posição identificada e existência verificada programaticamente. Achado sem evidência citável é descartado, ainda que o avaliador esteja convencido dele.

2.3Reprodutibilidade

Um terceiro com acesso à mesma amostra, à mesma rubrica e à mesma configuração deve chegar ao mesmo resultado, dentro da tolerância declarada em 9.3. Resultado irreproduzível não é evidência.

2.4Limitação declarada

Todo laudo declara o que não foi coberto, o que não pode ser afirmado, e onde a incerteza é maior. A seção de limitações é obrigatória e não é reduzida por conveniência comercial.

2.5A decisão é humana

O juiz automatizado produz nota e evidência. A conclusão de conformidade, a classificação de severidade final e a emissão do laudo são atos humanos, com responsável identificado e registrado. Nenhum modelo de linguagem decide, sozinho, o resultado de uma auditoria.

Definições

Vocabulário controlado. Estes termos têm, em qualquer laudo da Axon, exatamente o significado abaixo.

Escopo de uma auditoria

4.1Unidade de auditoria

A unidade é a tripla agente × canal × período. Um laudo cobre uma tripla. Auditar dois agentes gera dois conjuntos de notas, ainda que num único documento, porque nota agregada entre agentes distintos não tem significado operacional.

4.2O que entra e o que fica fora

Jornadas puramente determinísticas, como formulários e fluxos de árvore fixa, não são avaliadas quanto a conteúdo probabilístico. Avalia-se apenas a fronteira: onde o fluxo determinístico transfere para o agente generativo, e se os avisos de transparência e as saídas para atendimento humano existem e funcionam.

4.3Período de referência

Mínimo de 30 dias corridos, para absorver variação semanal. Máximo de 90 dias, porque acima disso a probabilidade de mudança silenciosa de modelo ou de prompt no meio do período compromete a homogeneidade da população. Períodos maiores são divididos em subperíodos avaliados separadamente.

4.4Pré-requisitos do cliente

1. 1Transcrições do período, com identificador estável, marca temporal, papel do falante e conteúdo. Formato JSON, JSONL ou CSV.
2. 2Documento normativo vigente que governa o atendimento, com identificação de versão.
3. 3Revisor da área de negócio, disponível por aproximadamente duas horas para a calibração.
4. 4Aprovador com autoridade para congelar a rubrica antes da avaliação.
5. 5Instrumento de tratamento de dados assinado antes de qualquer transferência.

4.5Condições de recusa

A auditoria não é iniciada, ou é interrompida, quando:

• Não há agente em produção atendendo cliente final. Piloto interno não constitui objeto auditável.
• Não existe normativo escrito, e o cliente não aceita que a rubrica seja construída e formalizada antes da avaliação.
• A população do período é inferior ao tamanho mínimo de amostra calculado, tornando a estimativa desnecessária, pois cabe censo.
• O cliente condiciona a emissão do laudo a um resultado, ou solicita supressão de achado evidenciado.
• A Axon tem, ou teve nos doze meses anteriores, participação na construção ou operação do agente auditado.

Rubrica: biblioteca, mapeamento e pacotes

A pergunta que derruba um laudo em sala de auditoria é "quem definiu esses critérios?". A resposta precisa ser: uma cláusula do documento do próprio cliente, ou uma exigência regulatória identificada. Nunca a opinião da Axon.

Isso cria uma tensão de escala. Se cada rubrica é escrita do zero, o quinto cliente custa o mesmo que o primeiro e o método não escala. A solução é separar o que é reutilizável do que é específico: a Axon mantém uma biblioteca canônica de critérios, e o trabalho por cliente passa a ser mapear o normativo dele para a biblioteca, não inventar critérios.

5.1Biblioteca canônica de critérios

Cada critério da biblioteca tem código estável, enunciado, teste objetivo e condição de aplicabilidade. O critério só entra numa rubrica quando ancorado em cláusula do cliente ou em exigência regulatória; a biblioteca fornece a redação e o teste, não a autoridade.

Exatidão factual

Aderência normativa

Resolução

Tratamento e tom

Transparência

Proteção de dados

5.2Procedimento de mapeamento normativo

Executável por analista qualificado nos termos do capítulo 12, sem envolvimento do responsável técnico até o passo 5.

1. 1Segmentar o normativo em cláusulas numeradas, preservando a numeração de origem.
2. 2Classificar cada cláusula como: obrigação verificável em conversa, obrigação verificável fora da conversa, ou informação sem obrigação. Só a primeira gera critério.
3. 3Ancorar cada obrigação verificável a um critério da biblioteca. Uma cláusula pode ancorar mais de um critério; um critério pode ter mais de uma âncora.
4. 4Parametrizar as variáveis do critério com os valores do cliente: alçadas, prazos, forma de tratamento, gatilhos de encaminhamento.
5. 5Identificar lacunas em dois sentidos: obrigações do cliente sem critério correspondente na biblioteca, e critérios da biblioteca sem âncora no normativo. Ambas as listas vão ao cliente antes da aprovação.

O produto do procedimento é uma matriz de rastreabilidade: cláusula de origem, critério ancorado, parâmetros aplicados, e cobertura recíproca. A matriz é anexo obrigatório do dossiê.

5.3Critérios específicos do cliente

Obrigação do cliente sem correspondente na biblioteca gera critério específico, redigido no formato canônico e marcado como origem: específico. Critério específico que reaparecer em três clientes distintos é candidato à promoção para a biblioteca, por alteração MAIOR desta metodologia.

5.4Pacotes normativos setoriais

Pacote setorial é um subconjunto pré-ancorado da biblioteca, com as exigências regulatórias comuns a um setor já mapeadas e parametrizadas com os valores usuais. Um pacote contém: critérios aplicáveis, âncoras regulatórias, parâmetros com valor padrão e valor a confirmar, e as perguntas de escopo específicas do setor.

O pacote não substitui o mapeamento do normativo interno do cliente. Ele elimina o trabalho de identificar e redigir a camada regulatória, que é idêntica entre clientes do mesmo setor. Pacotes seguem versionamento próprio e o dossiê declara qual versão foi aplicada.

5.5Aprovação e congelamento

A rubrica é aprovada formalmente pelo cliente antes do início da avaliação, com registro de aprovador, data e versão, acompanhada da matriz de rastreabilidade e das duas listas de lacuna do passo 5. Rubrica ajustada após conhecimento do resultado invalida o laudo. Ajuste necessário durante a avaliação reinicia a avaliação sob nova versão, e o dossiê registra ambas.

5.6Versionamento

Rubricas seguem MAIOR.MENOR. Alteração de critério, de parâmetro ou de conjunto de dimensões incrementa MAIOR e impede comparação direta com períodos anteriores. Correção de redação sem alteração de sentido incrementa MENOR e preserva comparabilidade. O dossiê declara a versão aplicada e se a comparação histórica é válida.

Amostragem

Auditoria por amostragem só tem valor se o método de seleção for declarado e reproduzível. "Avaliamos as conversas disponíveis" não é amostragem.

6.1População

A população é o conjunto de todas as conversas do agente, no canal e no período em escopo, com pelo menos um turno de agente. Conversas com zero turno de agente são excluídas e a exclusão é contada e reportada.

6.2Estratificação

A amostra é estratificada por canal, por versão do agente e por semana do período, com alocação proporcional ao tamanho do estrato e mínimo de uma conversa por estrato. A estratificação por semana existe para impedir que a amostra se concentre em um período atípico.

6.3Tamanho de amostra

Calculado para estimar uma proporção, com correção para população finita. A proporção esperada é fixada em 0,5, o caso de máxima variância, o que torna a estimativa conservadora e independente de suposição prévia sobre a taxa de falha.

Parâmetros padrão: confiança de 95% e margem de ±5 pontos percentuais, o que resulta em aproximadamente 380 conversas para populações a partir de dez mil. A margem efetivamente alcançada pelo tamanho sorteado é recalculada e declarada no dossiê, e prevalece sobre a margem pretendida.

6.4Estrato adverso

Conversas sinalizadas como suspeitas pelo cliente, ou vinculadas a reclamação formal, são sobreamostradas em estrato separado, tipicamente de 10% a 20% do tamanho da amostra representativa.

6.5Registro de parâmetros

Toda amostragem gera registro imutável com: tamanho da população, tamanho por estrato, nível de confiança, margem pretendida, margem efetiva, semente do gerador pseudoaleatório, versão do algoritmo e resumo criptográfico da lista de identificadores sorteados.

6.6O que invalida a amostra

• Recebimento de conversas adicionais do período após o sorteio. A amostra é refeita.
• Descoberta de que a extração do cliente já era filtrada, tornando a população declarada falsa.
• Mudança de versão do agente no meio do período sem que a versão esteja registrada por conversa.
• Seleção manual de conversas por qualquer das partes fora do estrato adverso.

Avaliação

7.1Pipeline

1. 1Normalização. Conversas convertidas para o modelo canônico de turnos, com validação de ordenação e de papéis.
2. 2Redação de dado pessoal. Aplicada antes de qualquer persistência e antes de qualquer chamada ao juiz.
3. 3Sorteio. Amostra construída segundo o capítulo 6 e congelada.
4. 4Julgamento. Cada conversa avaliada contra a rubrica congelada, com configuração fixada.
5. 5Verificação de citação. Toda evidência confrontada com a conversa de origem.
6. 6Agregação. Notas por dimensão, taxa de violação por critério, intervalos de confiança.
7. 7Revisão humana. Conforme 7.6.
8. 8Calibração. Conforme capítulo 8.
9. 9Emissão. Após checklist do capítulo 10 satisfeito.

7.2Redação de dado pessoal

Documentos, cartões, endereços eletrônicos, telefones, nomes próprios e chaves de identificação são substituídos por marcadores estáveis antes do armazenamento. O juiz opera exclusivamente sobre texto redigido. A estabilidade dos marcadores dentro de uma mesma conversa é preservada, para que a coerência referencial não se perca e produza falso achado.

7.3Configuração do juiz

7.4Julgamento adaptativo

Repetir todo julgamento três vezes triplica o custo para reduzir incerteza onde ela não existe. O número de repetições é função da própria incerteza:

A nota reportada é a mediana das passadas efetivamente executadas. O dossiê declara, por conversa, quantas passadas houve e por qual gatilho. Na prática, entre 12% e 25% da amostra recebe repetição, o que reduz o custo de julgamento em torno de 60% em relação a três passadas universais, sem perda de rigor onde ele importa.

7.4Verificação de citação

Cada achado carrega índice do turno e trecho literal. A verificação confirma, programaticamente, que o trecho existe naquele turno daquela conversa. Achado cuja citação não se confirma é descartado, e o descarte é contado e reportado como indicador de qualidade do julgamento, não silenciado.

7.5Escala e faixas

Cada dimensão recebe nota de 0 a 100. As faixas usam a semântica de três níveis:

Não há compensação entre dimensões. Qualquer dimensão em faixa crítica limita a leitura geral a "atenção" no melhor caso, e o dossiê nomeia a dimensão responsável pela limitação. Média que dilui uma falha crítica em cinco dimensões saudáveis não descreve risco.

7.7Severidade

Severidade combina impacto individual e frequência observada:

Lacuna 2. A fronteira quantitativa entre falha recorrente e residual varia por setor e por volume. Até o fechamento, a frequência é reportada em números absolutos e relativos, e a classificação de recorrência é decisão humana registrada. Ver capítulo 18.

7.8Revisão humana por padrão de falha

Revisar cem por cento das instâncias críticas é insustentável e, pior, redundante: sessenta achados críticos costumam ser quatro ou cinco padrões repetidos. O que precisa de julgamento humano é o padrão, não cada ocorrência dele.

Achados são agrupados em padrões de falha. Dois achados pertencem ao mesmo padrão quando compartilham critério violado, mecanismo de falha e forma de manifestação. O agrupamento é proposto automaticamente e confirmado por humano.

Consequência da reprovação. Se a revisão invalidar uma instância, ela é descartada e outra do mesmo padrão entra em revisão. Se invalidar a maioria das instâncias revisadas de um padrão, o padrão inteiro é descartado do laudo e o descarte é reportado como indicador de qualidade do julgamento.

Calibração contra revisor humano

É a etapa que responde à objeção mais previsível: por que confiar no julgamento de um modelo. A resposta não é argumentativa, é numérica.

8.1Procedimento

1. 1Sorteia-se um subconjunto de 40 a 60 conversas da amostra representativa, com a mesma estratificação.
2. 2O revisor do cliente avalia esse subconjunto segundo a rubrica congelada, sem acesso às notas do juiz.
3. 3As notas são reduzidas às três faixas de 7.5, porque concordância em escala contínua é medida frágil e superestima discordância trivial.
4. 4Calcula-se o coeficiente kappa de Cohen entre revisor e juiz, por dimensão e no agregado.
5. 5Divergências de faixa são revisadas caso a caso e classificadas por causa: rubrica ambígua, erro do juiz ou erro do revisor.

8.2Cálculo

8.3Limiar de emissão

O limiar de 0,61 corresponde ao início da faixa convencionalmente descrita como concordância substancial na literatura de confiabilidade entre avaliadores. A escolha é conservadora e declarada; não é otimizada para facilitar emissão.

8.4Quando a divergência é do revisor

Ocorre, e não é motivo de embaraço: revisor humano também erra, e às vezes aplica prática consolidada que contraria o normativo escrito. Esse é, em si, um achado relevante e vai para o dossiê como divergência entre norma e prática. Não é usado para inflar a concordância; o kappa reportado é o calculado antes de qualquer reconciliação.

8.5Registro

O dossiê declara: tamanho do subconjunto de calibração, identificação funcional do revisor, kappa por dimensão e agregado, número de divergências e sua classificação por causa.

Reprodutibilidade

Um auditor externo vai reexecutar. Se os números se moverem sem explicação, o laudo perde valor probatório inteiro.

9.1O que é fixado

• Identificador completo do modelo juiz, com versão.
• Temperatura, semente e número de repetições.
• Versão da rubrica, incluindo texto integral dos critérios.
• Versão do algoritmo de amostragem e do redator de dado pessoal.
• Instantâneo imutável da lista de conversas sorteadas.

9.2O que é registrado

• Marca temporal de cada julgamento e sua duração.
• Notas de cada uma das três repetições, não apenas a mediana.
• Achados descartados por falha de verificação de citação.
• Identidade de cada revisor humano e de cada aprovador, por evento.

9.3Reexecução e tolerância

Uma reexecução com todos os parâmetros fixados deve reproduzir cada nota de dimensão dentro de ±2 pontos. Divergência maior gera relatório de divergência, com investigação obrigatória de causa entre três hipóteses: alteração do modelo pelo provedor sem mudança de identificador, defeito no congelamento de parâmetros, ou não determinismo do provedor acima do declarado.

9.4Integridade do artefato

O dossiê recebe resumo criptográfico SHA-256 sobre o conteúdo canônico, publicado no próprio documento e no JSON acompanhante. Qualquer alteração posterior é detectável por recomputação. Correção de dossiê emitido gera nova versão, com novo resumo e nota de retificação; nunca substituição silenciosa.

Composição do dossiê

Seções obrigatórias. Ausência de qualquer uma impede a emissão.

Exceções declaradas

Nenhum cliente real satisfaz todos os pré-requisitos. Sem um procedimento de exceção, a primeira auditoria força a escolha entre violar o método em silêncio e não entregar. Ambas destroem a credibilidade do laudo.

11.1Princípio

Toda exceção é nomeada, autorizada, registrada no dossiê e acompanhada da sua consequência sobre o que pode ser afirmado. Exceção declarada reduz o alcance da conclusão; exceção silenciosa invalida o laudo.

11.2Catálogo

11.3Autorização

Exceções EX-01 a EX-03, EX-05, EX-06 e EX-08 são autorizadas pelo responsável técnico da auditoria. EX-07 e EX-09 exigem, além disso, aprovação do responsável pela metodologia. EX-04 não é exceção autorizável: é bloqueio.

11.4Limite de acumulação

Três ou mais exceções simultâneas na mesma auditoria exigem reavaliação de viabilidade antes de prosseguir. A partir desse ponto, o alcance do laudo tende a ser tão restrito que o artefato deixa de servir ao propósito, e é mais honesto renegociar escopo do que emitir documento de valor marginal.

Papéis, qualificação e delegação

Uma metodologia só escala se outra pessoa puder executá-la. Este capítulo define quem faz o quê, o que precisa saber, e o que jamais é delegável.

12.1Papéis

12.2Requisitos de qualificação

12.3Conjunto de aferição interno

A Axon mantém conjunto fixo de conversas anonimizadas com classificação de referência estabelecida por consenso. Serve para: qualificar candidatos a revisor técnico, reaferir revisores periodicamente, e detectar deriva de julgamento ao longo do tempo. O conjunto não é usado em nenhuma auditoria de cliente e não integra o corpus agregado.

12.4O que não é delegável

• Assinatura do laudo. Sempre pessoa física identificada, com os requisitos de 12.2.
• Autorização de exceção. Nunca por analista.
• Decisão de não emitir. Bloqueio de emissão não é revertido por instância comercial.
• Alteração desta metodologia. Somente o responsável pela metodologia, com registro público.

12.5Rede credenciada

Auditores terceiros podem executar sob esta metodologia mediante credenciamento, que exige: aprovação nos requisitos de 12.2 para o papel pretendido, adesão às restrições do capítulo 14, declaração de relação prévia com cada auditado, e submissão a revisão de qualidade por amostragem de pelo menos 20% dos laudos emitidos nos primeiros doze meses. Reprovação em revisão de qualidade suspende o credenciamento e obriga reemissão dos laudos afetados.

Indicadores de escala do método

Uma metodologia que pretende escalar precisa medir se está escalando. Estes indicadores são apurados por auditoria e revisados trimestralmente pelo responsável pela metodologia.

Independência e conflito de interesse

14.1O que a Axon não faz

• Não escreve nem ajusta instruções, prompts ou configuração do agente auditado.
• Não constrói, opera nem hospeda o agente auditado.
• Não aceita remuneração variável vinculada ao resultado da avaliação.
• Não audita agente em cuja construção tenha participado nos doze meses anteriores.
• Não suprime achado evidenciado por solicitação de qualquer parte.

Recomendar correção é parte do ofício e não fere a independência. Executá-la, sim, porque quem executa passaria a avaliar o próprio trabalho.

14.2Rede credenciada

Quando auditores terceiros passarem a executar sob esta metodologia, aplicam-se as mesmas restrições, acrescidas de: submissão a revisão de qualidade por amostragem da Axon, obrigação de declarar relação prévia com o auditado, e vedação de atuar simultaneamente como implementador e auditor do mesmo agente.

14.3Responsável técnico

Todo laudo tem uma pessoa física identificada como responsável técnico pela emissão. Essa pessoa responde pela aderência do trabalho a esta metodologia. Laudo sem responsável nomeado não é emitido.

Tratamento de dados

15.1Minimização

Solicita-se o mínimo necessário: transcrições do período e canal em escopo. Não são solicitados cadastro de clientes, base de crédito, gravação de áudio original nem dado biométrico.

15.2Dado pessoal

A redação ocorre antes da persistência e antes de qualquer envio ao juiz. O juiz opera sobre texto redigido. A avaliação não requer identificação do titular, e a Axon não a reconstrói.

15.3Retenção e eliminação

A janela de retenção é definida contratualmente. Encerrado o prazo, ou a pedido do cliente, os dados são eliminados, preservando-se apenas: parâmetros de amostragem, notas agregadas, resumos criptográficos e o dossiê emitido. Isso mantém o laudo auditável sem manter o conteúdo das conversas.

15.4Execução no ambiente do cliente

Quando a transferência de transcrições não é admissível, a auditoria é executada em ambiente do próprio cliente, com a Axon recebendo apenas resultados agregados e evidências já redigidas. A modalidade adotada é declarada no dossiê, porque afeta o que a Axon pode verificar de forma independente.

15.5Corpus agregado

A Axon mantém, mediante previsão contratual, corpus agregado e não identificado de padrões de falha, destinado a calibração de juiz, comparação setorial e evolução do método. O corpus não contém conteúdo de conversa, identificação de cliente nem identificação de titular. É a base do referencial setorial descrito na lacuna 4.

Governança do método

16.1Versionamento

Esta metodologia segue MAIOR.MENOR. Incrementa MAIOR toda alteração que possa mudar o resultado de uma auditoria: dimensões, limiares, faixas, tamanho de amostra, limiar de kappa, tolerância de reexecução. Incrementa MENOR o que apenas esclarece redação.

16.2Ausência de efeito retroativo

Laudo emitido permanece válido sob a versão vigente à sua emissão e não é reinterpretado por versão posterior. Comparação entre períodos avaliados sob versões MAIOR distintas é declarada como não diretamente comparável.

16.3Aprovação de mudança

Alteração MAIOR exige proposta escrita com justificativa, avaliação de impacto sobre laudos anteriores e aprovação do responsável pela metodologia. O registro de alterações é público, junto a este documento.

16.4Registro de alterações

Limitações conhecidas

O que esta metodologia não consegue afirmar. Esta seção é reproduzida, adaptada ao caso, em todo dossiê.

• Amostragem estima, não certifica. A conclusão é sobre taxa na população, com margem declarada, e não sobre a corretude de qualquer conversa não avaliada.
• O juiz é um modelo de linguagem. Concordância substancial com revisor humano é evidência de confiabilidade, não prova de infalibilidade. Casos de ambiguidade genuína permanecem ambíguos.
• Rubrica derivada de normativo herda seus defeitos. Se o normativo do cliente contraria a legislação, um agente aderente ao normativo recebe nota alta e continua exposto. Avaliar o normativo em si está fora de escopo.
• Retrospectividade. O laudo descreve um período passado. Não afirma nada sobre o comportamento futuro do agente, especialmente após alteração de prompt, de modelo ou de base de conhecimento.
• Dependência da extração do cliente. Se a base fornecida já estava filtrada de modo não declarado, a população é falsa e o laudo herda esse defeito. Mitiga-se por conferência de contagens, não se elimina.
• Texto, não áudio. Em canal de voz, avalia-se a transcrição. Erro de transcrição pode gerar falso achado, e prosódia não é avaliada.
• Ausência de acreditação. Este laudo é opinião técnica independente e fundamentada; não é certificação acreditada, e não substitui exigência regulatória que demande organismo acreditado.

Lacunas desta versão

Cada lacuna abaixo tem uma decisão provisória em vigor, um critério de fechamento e a evidência que precisa ser coletada. Nenhuma será fechada por raciocínio; todas dependem de campo.