Todo el mundo dice que "monitoriza IA en producción".
Muy pocos equipos pueden responder preguntas operativas básicas:
- ¿Estamos bloqueando riesgo real o solo generando ruido?
- ¿Dónde se está escapando el presupuesto?
- ¿Qué casos de uso se están desviando de política?
Si tus métricas no responden eso, no estás haciendo gobernanza. Estás haciendo teatro de observabilidad.
El problema de los KPIs
La mayoría de equipos miden:
- requests totales
- latencia media
- uptime del modelo
Son métricas útiles de plataforma, pero débiles para gobernanza. Gobernanza trata de calidad de controles, resultados de política y riesgo de negocio.
8 KPIs de gobernanza que vale la pena medir
1) Tasa de violaciones de política
Porcentaje de requests que disparan violaciones de compliance o seguridad.
Por qué importa: muestra tendencia de exposición al riesgo por producto, tenant y caso de uso.
2) Ratio bloquear vs advertir
Con qué frecuencia tus políticas bloquean duro frente a modo warning.
Por qué importa: revela si estás sobre-bloqueando (fricción de producto) o infra-aplicando controles (fuga de riesgo).
3) Tendencia de precisión en detección PII
Mide falsos positivos y falsos negativos a lo largo del tiempo.
Por qué importa: demasiados falsos positivos rompen la experiencia; falsos negativos abren riesgo legal y de seguridad.
4) Coste evitado pre-ejecución
Gasto evitado por límites de budget/rate antes de llamar al modelo.
Por qué importa: es valor FinOps directo que negocio entiende al momento.
5) Cobertura en rutas de alto riesgo
Porcentaje de requests de alto riesgo que pasan por toda la pila de políticas.
Por qué importa: si la cobertura no es completa, tu postura real es peor que la que muestra el dashboard.
6) Tiempo medio de actualización de políticas (MTTU)
Tiempo entre detectar un hueco de gobernanza y desplegar una política/rulepack corregida.
Por qué importa: la agilidad de políticas separa a equipos resilientes de equipos con incidentes repetidos.
7) Tasa de recurrencia de incidentes
Cuántas veces se repite la misma clase de incidente tras una supuesta remediación.
Por qué importa: si se repite, el control era cosmético, no estructural.
8) Completitud de evidencia de auditoría
Porcentaje de requests con evidencia trazable completa (decisión, versión de regla, actor, timestamp, resultado).
Por qué importa: sin evidencia no hay postura de compliance defendible.
Cómo operarlo en 30 días
Semana 1:
- Define KPIs de gobernanza con owners (Security, Platform, Compliance, FinOps).
- Establece umbrales rojo/amarillo/verde.
Semana 2:
- Instrumenta el pipeline para producir eventos estructurados.
- Añade dimensiones por tenant y caso de uso.
Semana 3:
- Revisa un incidente real y localiza dónde los KPIs no avisaron a tiempo.
- Corrige telemetría faltante o puntos ciegos de política.
Semana 4:
- Ejecuta una revisión mensual de gobernanza con producto, ingeniería y compliance.
- Conecta el roadmap con deltas concretos de KPIs.
Conclusión
Las buenas métricas de gobernanza no solo describen el sistema.
Cambian decisiones.
Si un KPI no dispara una acción concreta, elimínalo.
Quédate con los que mejoran seguridad, compliance y operación.