La deriva només afecta models propis?
No. També afecta sistemes construïts sobre models de tercers, perquè aquell model pot canviar sota els teus peus sense avisar.
Concepte · Fiabilitat
Què és la deriva del model i com detectar-la
La deriva del model passa quan les sortides d’un sistema d’IA empitjoren a poc a poc en canviar les dades, l’ús o el mateix model. Detectar-la a temps exigeix mesurar, no intuir.
Quin aspecte té la deriva a la pràctica
Un agent que funcionava bé comença a fallar de maneres petites: respostes una mica pitjors, més correccions manuals, casos límit que abans encertava. Res no es trenca de cop, per això passa desapercebut.
- Canvien les dades d’entrada respecte a quan es va dissenyar l’agent.
- Canvia com l’usa la gent, amb casos no previstos.
- El proveïdor actualitza el model i el comportament es desplaça.
Per què la deriva és silenciosa
La deriva no llança un error ni fa caure un servidor. El sistema continua responent amb confiança, només que pitjor. Sense mesura, el primer a notar-ho sol ser el client, no l’equip.
- No hi ha una fallada visible que dispari una alerta.
- La degradació és gradual i es normalitza.
- La confiança aparent de la sortida amaga el problema.
Com detectar-la aviat
La defensa contra la deriva és quantificar què vol dir «bé» i vigilar-ho de manera contínua. Paput defineix llindars i els converteix en alertes.
- Avaluacions de confiança amb un mínim de precisió que no ha de baixar.
- Un màxim de taxa d’override: si les persones corregeixen massa, alguna cosa s’ha desplaçat.
- Monitoratge continu, no una revisió puntual en llançar.
- Registres traçables per investigar què va canviar i quan.
Preguntes habituals
Cada quant cal mesurar?
De manera contínua per a fluxos en producció. Una avaluació única en llançar no detecta una degradació que apareix setmanes després.
Notes de camp sobre agents d’IA
illmethinks.io publishes source-transparent notes on AI agents, tools, and operational risk monitored by Paput.ai.