¿La deriva solo afecta a modelos propios?
No. También afecta a sistemas construidos sobre modelos de terceros, porque ese modelo puede cambiar bajo tus pies sin avisar.
Concepto · Fiabilidad
Qué es la deriva del modelo y cómo detectarla
La deriva del modelo ocurre cuando las salidas de un sistema de IA empeoran poco a poco al cambiar los datos, el uso o el propio modelo. Detectarla a tiempo exige medir, no intuir.
Qué aspecto tiene la deriva en la práctica
Un agente que funcionaba bien empieza a fallar de formas pequeñas: respuestas algo peores, más correcciones manuales, casos límite que antes acertaba. Nada se rompe de golpe, por eso pasa desapercibido.
- Cambian los datos de entrada respecto a cuando se diseñó el agente.
- Cambia cómo lo usa la gente, con casos no previstos.
- El proveedor actualiza el modelo y el comportamiento se desplaza.
Por qué la deriva es silenciosa
La deriva no lanza un error ni cae un servidor. El sistema sigue respondiendo con confianza, solo que peor. Sin medición, el primero en notarlo suele ser el cliente, no el equipo.
- No hay un fallo visible que dispare una alerta.
- La degradación es gradual y se normaliza.
- La confianza aparente de la salida oculta el problema.
Cómo detectarla pronto
La defensa contra la deriva es cuantificar lo que «bien» significa y vigilarlo de forma continua. Paput define umbrales y los convierte en alertas.
- Evaluaciones de confianza con un mínimo de precisión que no debe bajar.
- Un máximo de tasa de override: si las personas corrigen demasiado, algo se ha desplazado.
- Monitorización continua, no una revisión puntual al lanzar.
- Registros trazables para investigar qué cambió y cuándo.
Preguntas habituales
¿Cada cuánto hay que medir?
De forma continua para flujos en producción. Una evaluación única al lanzar no detecta una degradación que aparece semanas después.
Notas de campo sobre agentes de IA
illmethinks.io publishes source-transparent notes on AI agents, tools, and operational risk monitored by Paput.ai.