Señales de decisión en producción: de notebooks a evidencia gobernada
El problema del training-serving skew
El training-serving skew es la causa #1 de degradación silenciosa en modelos de producción. Ocurre cuando las features que el modelo vio durante entrenamiento difieren de las que recibe en inferencia. Las causas son múltiples: transformaciones implementadas de forma diferente en training (Python/pandas) vs serving (Java/SQL), features calculadas con datos del futuro durante training (data leakage temporal), o simplemente bugs en la lógica de feature engineering que no se detectan hasta producción.
Evidencia gobernada: la solución al skew
Una capa de evidencia gobernada centraliza definiciones, frescura, ownership, calidad y trazabilidad de señales. Lo importante para el comprador no es el proveedor técnico, sino que la misma señal tenga significado consistente en simulación, revisión, recomendación y auditoría.
Monitoreo y gobernanza de señales
Las señales que alimentan una decisión crítica son activos de assurance: requieren ownership, documentación, trazabilidad, calidad, frescura y criterios de uso. El monitoreo detecta degradación o ausencia de evidencia; la gobernanza define quién puede confiar en cada señal, bajo qué límites y con qué revisión.
Conclusiones clave
- La degradación silenciosa se controla mejor cuando cada señal tiene dueño, contexto, calidad y límites de uso.
- La evidencia histórica y operacional debe compararse con criterios comunes antes de alimentar una recomendación.
- Las señales históricas y operacionales deben servirse desde una definición gobernada común.