Metodología de auditoría de agentes de IA

Propósito y alcance de este documento

Este documento describe el método que Axon aplica para evaluar agentes de inteligencia artificial que interactúan con clientes finales, y para emitir el dossier de cumplimiento que resulta de esa evaluación.

1.1A quién va dirigido

Tres lectores, con necesidades distintas:

• La auditoría interna y el área de cumplimiento del cliente, que necesitan juzgar si el informe es aceptable como evidencia en su propio proceso.
• Auditoría externa y reguladores, que necesitan verificar que la conclusión se desprende del método, y no de la conveniencia.
• Equipos de Axon y auditores acreditados, que necesitan ejecutar la auditoría de forma idéntica entre clientes.

1.2Qué no es este documento

• No es un manual de producto. No describe pantallas, integraciones ni API.
• No es un dictamen jurídico. No afirma cumplimiento de una norma específica; afirma lo que se observó, y corresponde al cliente y a sus asesores concluir sobre cumplimiento.
• No es garantía de ausencia de error. La auditoría por muestreo estima una tasa; no certifica que ningún caso individual esté equivocado.
• No es una certificación acreditada. Axon no es un organismo de certificación acreditado por el Inmetro (la autoridad brasileña de acreditación) ni por una entidad equivalente, y no se presenta como tal.

Principios

Cinco principios gobiernan todas las decisiones de este método. Cuando una regla específica sea omisa o ambigua, decide el principio.

2.1Independencia

Axon evalúa agentes; no los construye, no los ajusta, no los opera. Recomendar una corrección forma parte del informe; ejecutarla, no. Quien ejecuta la corrección no puede dar fe de su resultado.

2.2Evidencia antes que conclusión

Ningún hallazgo existe sin un fragmento literal de la conversación de origen, con posición identificada y existencia verificada programáticamente. Un hallazgo sin evidencia citable se descarta, por convencido que esté el evaluador.

2.3Reproducibilidad

Un tercero con acceso a la misma muestra, a la misma rúbrica y a la misma configuración debe llegar al mismo resultado, dentro de la tolerancia declarada en 9.3. Un resultado irreproducible no es evidencia.

2.4Limitación declarada

Todo informe declara lo que no cubrió, lo que no se puede afirmar y dónde la incertidumbre es mayor. La sección de limitaciones es obligatoria y no se recorta por conveniencia comercial.

2.5La decisión es humana

El juez automatizado produce nota y evidencia. La conclusión de cumplimiento, la clasificación final de severidad y la emisión del informe son actos humanos, con responsable identificado y registrado. Ningún modelo de lenguaje decide, por sí solo, el resultado de una auditoría.

Definiciones

Vocabulario controlado. En cualquier informe de Axon, estos términos tienen exactamente el significado de abajo.

Alcance de una auditoría

4.1Unidad de auditoría

La unidad es la tripleta agente × canal × periodo. Un informe cubre una tripleta. Auditar dos agentes genera dos conjuntos de notas, aunque estén en un único documento, porque una nota agregada entre agentes distintos no tiene significado operativo.

4.2Qué entra y qué queda fuera

Los recorridos puramente determinísticos, como formularios y flujos de árbol fijo, no se evalúan en cuanto a contenido probabilístico. Se evalúa únicamente la frontera: dónde el flujo determinístico transfiere al agente generativo, y si los avisos de transparencia y las salidas a atención humana existen y funcionan.

4.3Periodo de referencia

Mínimo de 30 días corridos, para absorber la variación semanal. Máximo de 90 días, porque por encima de eso la probabilidad de un cambio silencioso de modelo o de prompt a mitad del periodo compromete la homogeneidad de la población. Los periodos mayores se dividen en subperiodos evaluados por separado.

4.4Prerrequisitos del cliente

1. 1Transcripciones del periodo, con identificador estable, marca temporal, rol del hablante y contenido. Formato JSON, JSONL o CSV.
2. 2Documento normativo vigente que rige la atención, con identificación de versión.
3. 3Revisor del área de negocio, disponible por aproximadamente dos horas para la calibración.
4. 4Aprobador con autoridad para congelar la rúbrica antes de la evaluación.
5. 5Instrumento de tratamiento de datos firmado antes de cualquier transferencia.

4.5Causales de rechazo

La auditoría no se inicia, o se interrumpe, cuando:

• No hay un agente en producción atendiendo a clientes finales. Un piloto interno no constituye objeto auditable.
• No existe normativa escrita, y el cliente no acepta que la rúbrica se construya y se formalice antes de la evaluación.
• La población del periodo es inferior al tamaño mínimo de muestra calculado, lo que vuelve innecesaria la estimación, pues cabe un censo.
• El cliente condiciona la emisión del informe a un resultado, o solicita la supresión de un hallazgo evidenciado.
• Axon tiene, o tuvo en los doce meses anteriores, participación en la construcción u operación del agente auditado.

Rúbrica: biblioteca, mapeo y paquetes

La pregunta que derrumba un informe en una sala de auditoría es "¿quién definió esos criterios?". La respuesta tiene que ser: una cláusula del documento del propio cliente, o una exigencia regulatoria identificada. Nunca la opinión de Axon.

Eso crea una tensión de escala. Si cada rúbrica se escribe desde cero, el quinto cliente cuesta lo mismo que el primero y el método no escala. La solución es separar lo reutilizable de lo específico: Axon mantiene una biblioteca canónica de criterios, y el trabajo por cliente pasa a ser mapear su normativa a la biblioteca, no inventar criterios.

5.1Biblioteca canónica de criterios

Cada criterio de la biblioteca tiene código estable, enunciado, prueba objetiva y condición de aplicabilidad. El criterio solo entra en una rúbrica cuando está anclado en una cláusula del cliente o en una exigencia regulatoria; la biblioteca aporta la redacción y la prueba, no la autoridad.

Exactitud factual

Apego normativo

Resolución

Trato y tono

Transparencia

Protección de datos

5.2Procedimiento de mapeo normativo

Ejecutable por un analista calificado en los términos del capítulo 12, sin intervención del responsable técnico hasta el paso 5.

1. 1Segmentar la normativa en cláusulas numeradas, preservando la numeración de origen.
2. 2Clasificar cada cláusula como: obligación verificable en conversación, obligación verificable fuera de la conversación, o información sin obligación. Solo la primera genera criterio.
3. 3Anclar cada obligación verificable a un criterio de la biblioteca. Una cláusula puede anclar más de un criterio; un criterio puede tener más de un ancla.
4. 4Parametrizar las variables del criterio con los valores del cliente: alzadas, plazos, forma de trato, disparadores de derivación.
5. 5Identificar brechas en dos sentidos: obligaciones del cliente sin criterio correspondiente en la biblioteca, y criterios de la biblioteca sin ancla en la normativa. Ambas listas van al cliente antes de la aprobación.

El producto del procedimiento es una matriz de trazabilidad: cláusula de origen, criterio anclado, parámetros aplicados y cobertura recíproca. La matriz es un anexo obligatorio del dossier.

5.3Criterios específicos del cliente

Una obligación del cliente sin correspondencia en la biblioteca genera un criterio específico, redactado en el formato canónico y marcado con origen: específico. Un criterio específico que reaparezca en tres clientes distintos es candidato a promoción a la biblioteca, mediante un cambio MAYOR de esta metodología.

5.4Paquetes normativos sectoriales

Un paquete sectorial es un subconjunto preanclado de la biblioteca, con las exigencias regulatorias comunes a un sector ya mapeadas y parametrizadas con los valores usuales. Un paquete contiene: criterios aplicables, anclas regulatorias, parámetros con valor por defecto y valor a confirmar, y las preguntas de alcance específicas del sector.

El paquete no sustituye el mapeo de la normativa interna del cliente. Elimina el trabajo de identificar y redactar la capa regulatoria, que es idéntica entre clientes del mismo sector. Los paquetes siguen su propio versionado y el dossier declara qué versión se aplicó.

5.5Aprobación y congelamiento

La rúbrica se aprueba formalmente por el cliente antes del inicio de la evaluación, con registro de aprobador, fecha y versión, acompañada de la matriz de trazabilidad y de las dos listas de brechas del paso 5. Una rúbrica ajustada después de conocer el resultado invalida el informe. Un ajuste necesario durante la evaluación reinicia la evaluación bajo una nueva versión, y el dossier registra ambas.

5.6Versionado

Las rúbricas siguen MAYOR.MENOR. Un cambio de criterio, de parámetro o del conjunto de dimensiones incrementa MAYOR e impide la comparación directa con periodos anteriores. Una corrección de redacción sin cambio de sentido incrementa MENOR y preserva la comparabilidad. El dossier declara la versión aplicada y si la comparación histórica es válida.

Muestreo

La auditoría por muestreo solo vale si el método de selección es declarado y reproducible. "Evaluamos las conversaciones disponibles" no es muestreo.

6.1Población

La población es el conjunto de todas las conversaciones del agente, en el canal y el periodo en alcance, con al menos un turno del agente. Las conversaciones con cero turnos del agente se excluyen y la exclusión se cuenta y se reporta.

6.2Estratificación

La muestra se estratifica por canal, por versión del agente y por semana del periodo, con asignación proporcional al tamaño del estrato y un mínimo de una conversación por estrato. La estratificación por semana existe para impedir que la muestra se concentre en un periodo atípico.

6.3Tamaño de muestra

Calculado para estimar una proporción, con corrección para población finita. La proporción esperada se fija en 0,5, el caso de máxima varianza, lo que vuelve la estimación conservadora e independiente de cualquier suposición previa sobre la tasa de falla.

Parámetros por defecto: confianza del 95% y margen de ±5 puntos porcentuales, lo que resulta en aproximadamente 380 conversaciones para poblaciones desde diez mil. El margen efectivamente alcanzado por el tamaño sorteado se recalcula y se declara en el dossier, y prevalece sobre el margen pretendido.

6.4Estrato adverso

Las conversaciones señaladas como sospechosas por el cliente, o vinculadas a un reclamo formal, se sobremuestrean en un estrato separado, típicamente del 10% al 20% del tamaño de la muestra representativa.

6.5Registro de parámetros

Todo muestreo genera un registro inmutable con: tamaño de la población, tamaño por estrato, nivel de confianza, margen pretendido, margen efectivo, semilla del generador pseudoaleatorio, versión del algoritmo y resumen criptográfico de la lista de identificadores sorteados.

6.6Qué invalida la muestra

• Recibir conversaciones adicionales del periodo después del sorteo. La muestra se rehace.
• Descubrir que la extracción del cliente ya venía filtrada, lo que vuelve falsa la población declarada.
• Un cambio de versión del agente a mitad del periodo sin que la versión esté registrada por conversación.
• La selección manual de conversaciones por cualquiera de las partes fuera del estrato adverso.

Evaluación

7.1Pipeline

1. 1Normalización. Conversaciones convertidas al modelo canónico de turnos, con validación de orden y de roles.
2. 2Redacción de datos personales. Aplicada antes de cualquier persistencia y antes de cualquier llamada al juez.
3. 3Sorteo. Muestra construida según el capítulo 6 y congelada.
4. 4Juicio. Cada conversación evaluada contra la rúbrica congelada, con configuración fijada.
5. 5Verificación de cita. Toda evidencia confrontada con la conversación de origen.
6. 6Agregación. Notas por dimensión, tasa de violación por criterio, intervalos de confianza.
7. 7Revisión humana. Conforme a 7.6.
8. 8Calibración. Conforme al capítulo 8.
9. 9Emisión. Tras satisfacer el checklist del capítulo 10.

7.2Redacción de datos personales

Documentos, tarjetas, direcciones de correo, teléfonos, nombres propios y claves de identificación se sustituyen por marcadores estables antes del almacenamiento. El juez opera exclusivamente sobre texto redactado. La estabilidad de los marcadores dentro de una misma conversación se preserva, para que la coherencia referencial no se pierda y produzca un hallazgo falso.

7.3Configuración del juez

7.4Juicio adaptativo

Repetir todo juicio tres veces triplica el costo para reducir incertidumbre donde no la hay. El número de repeticiones es función de la propia incertidumbre:

La nota reportada es la mediana de las pasadas efectivamente ejecutadas. El dossier declara, por conversación, cuántas pasadas hubo y por cuál disparador. En la práctica, entre el 12% y el 25% de la muestra recibe repetición, lo que reduce el costo de juicio en torno al 60% frente a tres pasadas universales, sin perder rigor donde importa.

7.4Verificación de cita

Cada hallazgo lleva el índice del turno y el fragmento literal. La verificación confirma, programáticamente, que el fragmento existe en ese turno de esa conversación. Un hallazgo cuya cita no se confirma se descarta, y el descarte se cuenta y se reporta como indicador de calidad del juicio, no se silencia.

7.5Escala y franjas

Cada dimensión recibe una nota de 0 a 100. Las franjas usan una semántica de tres niveles:

No hay compensación entre dimensiones. Cualquier dimensión en franja crítica limita la lectura general a "atención" en el mejor caso, y el dossier nombra la dimensión responsable de la limitación. Una media que diluye una falla crítica en cinco dimensiones saludables no describe riesgo.

7.7Severidad

La severidad combina impacto individual y frecuencia observada:

Brecha 2. La frontera cuantitativa entre falla recurrente y residual varía por sector y por volumen. Hasta el cierre, la frecuencia se reporta en números absolutos y relativos, y la clasificación de recurrencia es una decisión humana registrada. Ver capítulo 18.

7.8Revisión humana por patrón de falla

Revisar el cien por ciento de las instancias críticas es insostenible y, peor, redundante: sesenta hallazgos críticos suelen ser cuatro o cinco patrones repetidos. Lo que necesita juicio humano es el patrón, no cada una de sus ocurrencias.

Los hallazgos se agrupan en patrones de falla. Dos hallazgos pertenecen al mismo patrón cuando comparten el criterio violado, el mecanismo de falla y la forma de manifestación. La agrupación se propone automáticamente y la confirma una persona.

Consecuencia del rechazo. Si la revisión invalida una instancia, esta se descarta y otra del mismo patrón entra en revisión. Si invalida la mayoría de las instancias revisadas de un patrón, el patrón entero se descarta del informe y el descarte se reporta como indicador de calidad del juicio.

Calibración contra revisor humano

Es la etapa que responde a la objeción más previsible: por qué confiar en el juicio de un modelo. La respuesta no es argumentativa, es numérica.

8.1Procedimiento

1. 1Se sortea un subconjunto de 40 a 60 conversaciones de la muestra representativa, con la misma estratificación.
2. 2El revisor del cliente evalúa ese subconjunto según la rúbrica congelada, sin acceso a las notas del juez.
3. 3Las notas se reducen a las tres franjas de 7.5, porque la concordancia en escala continua es una medida frágil y sobreestima la discrepancia trivial.
4. 4Se calcula el coeficiente kappa de Cohen entre revisor y juez, por dimensión y en agregado.
5. 5Las discrepancias de franja se revisan caso por caso y se clasifican por causa: rúbrica ambigua, error del juez o error del revisor.

8.2Cálculo

8.3Umbral de emisión

El umbral de 0,61 corresponde al inicio de la franja convencionalmente descrita como concordancia sustancial en la literatura de confiabilidad entre evaluadores. La elección es conservadora y declarada; no está optimizada para facilitar la emisión.

8.4Cuando la discrepancia es del revisor

Ocurre, y no es motivo de vergüenza: el revisor humano también se equivoca, y a veces aplica una práctica consolidada que contradice la normativa escrita. Eso es, en sí, un hallazgo relevante y va al dossier como divergencia entre norma y práctica. No se usa para inflar la concordancia; el kappa reportado es el calculado antes de cualquier reconciliación.

8.5Registro

El dossier declara: tamaño del subconjunto de calibración, identificación funcional del revisor, kappa por dimensión y agregado, número de discrepancias y su clasificación por causa.

Reproducibilidad

Un auditor externo va a reejecutar. Si los números se mueven sin explicación, el informe pierde entero su valor probatorio.

9.1Qué se fija

• Identificador completo del modelo juez, con versión.
• Temperatura, semilla y número de repeticiones.
• Versión de la rúbrica, incluido el texto íntegro de los criterios.
• Versión del algoritmo de muestreo y del redactor de datos personales.
• Instantánea inmutable de la lista de conversaciones sorteadas.

9.2Qué se registra

• Marca temporal de cada juicio y su duración.
• Notas de cada una de las tres repeticiones, no solo la mediana.
• Hallazgos descartados por falla en la verificación de cita.
• Identidad de cada revisor humano y de cada aprobador, por evento.

9.3Reejecución y tolerancia

Una reejecución con todos los parámetros fijados debe reproducir cada nota de dimensión dentro de ±2 puntos. Una divergencia mayor genera un reporte de divergencia, con investigación obligatoria de la causa entre tres hipótesis: alteración del modelo por el proveedor sin cambio de identificador, defecto en el congelamiento de parámetros, o no determinismo del proveedor por encima de lo declarado.

9.4Integridad del artefacto

El dossier recibe un resumen criptográfico SHA-256 sobre su contenido canónico, publicado en el propio documento y en el JSON acompañante. Cualquier alteración posterior es detectable por recomputación. La corrección de un dossier emitido genera una nueva versión, con nuevo resumen y nota de rectificación; nunca una sustitución silenciosa.

Composición del dossier

Secciones obligatorias. La ausencia de cualquiera de ellas impide la emisión.

Excepciones declaradas

Ningún cliente real satisface todos los prerrequisitos. Sin un procedimiento de excepción, la primera auditoría fuerza a elegir entre violar el método en silencio y no entregar. Ambas destruyen la credibilidad del informe.

11.1Principio

Toda excepción se nombra, se autoriza, se registra en el dossier y va acompañada de su consecuencia sobre lo que puede afirmarse. Una excepción declarada reduce el alcance de la conclusión; una excepción silenciosa invalida el informe.

11.2Catálogo

11.3Autorización

Las excepciones EX-01 a EX-03, EX-05, EX-06 y EX-08 las autoriza el responsable técnico de la auditoría. EX-07 y EX-09 exigen, además, la aprobación del responsable de la metodología. EX-04 no es una excepción autorizable: es un bloqueo.

11.4Límite de acumulación

Tres o más excepciones simultáneas en la misma auditoría exigen una reevaluación de viabilidad antes de continuar. A partir de ese punto, el alcance del informe tiende a ser tan restringido que el artefacto deja de servir a su propósito, y es más honesto renegociar el alcance que emitir un documento de valor marginal.

Roles, calificación y delegación

Una metodología solo escala si otra persona puede ejecutarla. Este capítulo define quién hace qué, qué necesita saber, y qué jamás es delegable.

12.1Roles

12.2Requisitos de calificación

12.3Conjunto de verificación interno

Axon mantiene un conjunto fijo de conversaciones anonimizadas con una clasificación de referencia establecida por consenso. Sirve para: calificar candidatos a revisor técnico, reverificar revisores periódicamente y detectar deriva de juicio a lo largo del tiempo. El conjunto no se usa en ninguna auditoría de cliente y no integra el corpus agregado.

12.4Qué no es delegable

• La firma del informe. Siempre una persona física identificada, con los requisitos de 12.2.
• La autorización de una excepción. Nunca por un analista.
• La decisión de no emitir. Un bloqueo de emisión no se revierte por instancia comercial.
• El cambio de esta metodología. Solo el responsable de la metodología, con registro público.

12.5Red acreditada

Auditores terceros pueden ejecutar bajo esta metodología mediante acreditación, que exige: aprobación en los requisitos de 12.2 para el rol pretendido, adhesión a las restricciones del capítulo 14, declaración de relación previa con cada auditado, y sometimiento a revisión de calidad por muestreo de al menos el 20% de los informes emitidos en los primeros doce meses. Reprobar una revisión de calidad suspende la acreditación y obliga a reemitir los informes afectados.

Indicadores de escala del método

Una metodología que pretende escalar necesita medir si está escalando. Estos indicadores se calculan por auditoría y los revisa trimestralmente el responsable de la metodología.

Independencia y conflicto de interés

14.1Qué no hace Axon

• No escribe ni ajusta instrucciones, prompts o configuración del agente auditado.
• No construye, opera ni hospeda el agente auditado.
• No acepta remuneración variable vinculada al resultado de la evaluación.
• No audita un agente en cuya construcción haya participado en los doce meses anteriores.
• No suprime un hallazgo evidenciado a solicitud de ninguna parte.

Recomendar una corrección es parte del oficio y no hiere la independencia. Ejecutarla, sí, porque quien ejecuta pasaría a evaluar su propio trabajo.

14.2Red acreditada

Cuando auditores terceros pasen a ejecutar bajo esta metodología, se aplican las mismas restricciones, más: sometimiento a revisión de calidad por muestreo de Axon, obligación de declarar relación previa con el auditado, y prohibición de actuar simultáneamente como implementador y auditor del mismo agente.

14.3Responsable técnico

Todo informe tiene una persona física identificada como responsable técnico de la emisión. Esa persona responde por el apego del trabajo a esta metodología. Un informe sin responsable nombrado no se emite.

Tratamiento de datos

15.1Minimización

Se solicita el mínimo necesario: transcripciones del periodo y canal en alcance. No se solicitan registros de clientes, bases de crédito, grabaciones de audio originales ni datos biométricos.

15.2Datos personales

La redacción ocurre antes de la persistencia y antes de cualquier envío al juez. El juez opera sobre texto redactado. La evaluación no requiere identificar al titular, y Axon no la reconstruye.

15.3Retención y eliminación

La ventana de retención se define contractualmente. Vencido el plazo, o a pedido del cliente, los datos se eliminan, preservando solo: parámetros de muestreo, notas agregadas, resúmenes criptográficos y el dossier emitido. Eso mantiene el informe auditable sin mantener el contenido de las conversaciones.

15.4Ejecución en el ambiente del cliente

Cuando la transferencia de transcripciones no es admisible, la auditoría se ejecuta en el ambiente del propio cliente, con Axon recibiendo únicamente resultados agregados y evidencias ya redactadas. La modalidad adoptada se declara en el dossier, porque afecta lo que Axon puede verificar de forma independiente.

15.5Corpus agregado

Axon mantiene, mediante previsión contractual, un corpus agregado y no identificado de patrones de falla, destinado a la calibración del juez, la comparación sectorial y la evolución del método. El corpus no contiene contenido de conversación, identificación de cliente ni identificación de titular. Es la base del referencial sectorial descrito en la brecha 4.

Gobernanza del método

16.1Versionado

Esta metodología sigue MAYOR.MENOR. Incrementa MAYOR todo cambio que pueda alterar el resultado de una auditoría: dimensiones, umbrales, franjas, tamaño de muestra, umbral de kappa, tolerancia de reejecución. Incrementa MENOR lo que solo aclara la redacción.

16.2Ausencia de efecto retroactivo

Un informe emitido permanece válido bajo la versión vigente a su emisión y no se reinterpreta por una versión posterior. La comparación entre periodos evaluados bajo versiones MAYOR distintas se declara como no directamente comparable.

16.3Aprobación de cambios

Un cambio MAYOR exige una propuesta escrita con justificación, evaluación de impacto sobre informes anteriores y aprobación del responsable de la metodología. El registro de cambios es público, junto a este documento.

16.4Registro de cambios

Limitaciones conocidas

Qué no consigue afirmar esta metodología. Esta sección se reproduce, adaptada al caso, en todo dossier.

• El muestreo estima, no certifica. La conclusión es sobre una tasa en la población, con margen declarado, y no sobre la corrección de ninguna conversación no evaluada.
• El juez es un modelo de lenguaje. Una concordancia sustancial con un revisor humano es evidencia de confiabilidad, no prueba de infalibilidad. Los casos de ambigüedad genuina siguen siendo ambiguos.
• Una rúbrica derivada de la normativa hereda sus defectos. Si la normativa del cliente contraría la legislación, un agente apegado a ella recibe nota alta y sigue expuesto. Evaluar la normativa en sí queda fuera de alcance.
• Retrospectividad. El informe describe un periodo pasado. No afirma nada sobre el comportamiento futuro del agente, especialmente tras un cambio de prompt, de modelo o de base de conocimiento.
• Dependencia de la extracción del cliente. Si la base entregada ya venía filtrada de modo no declarado, la población es falsa y el informe hereda ese defecto. Se mitiga verificando conteos; no se elimina.
• Texto, no audio. En un canal de voz se evalúa la transcripción. Un error de transcripción puede generar un hallazgo falso, y la prosodia no se evalúa.
• Ausencia de acreditación. Este informe es una opinión técnica independiente y fundamentada; no es una certificación acreditada, y no sustituye una exigencia regulatoria que demande un organismo acreditado.

Brechas de esta versión

Cada brecha de abajo tiene una decisión provisoria en vigor, un criterio de cierre y la evidencia que hay que recolectar. Ninguna se cerrará por razonamiento; todas dependen del campo.