Un equip petit necessita els quatre controls?
Sí, però a l’escala adequada. Un pilot petit pot començar amb revisió humana en totes les accions sensibles i anar-la relaxant a mesura que les avaluacions demostren que l’agent és fiable.
Concepte · Seguretat agèntica
Els quatre controls de producció que necessita un agent d’IA
Abans d’arribar a producció, un agent d’IA necessita quatre controls actius: accions reversibles, revisió humana per a passos d’alt risc, registres traçables i avaluacions de confiança.
Per què producció no és una demo
Una demo funciona en condicions controlades i amb una persona vigilant. En producció, un agent actua sobre dades reals, eines connectades i decisions que afecten clients. La superfície de risc creix i els errors deixen de ser anècdotes: es tornen incidents operatius.
- Una demo demostra que una cosa pot funcionar; producció exigeix que falli de manera segura.
- Els agents connectats a correu, CRM o documents amplien la superfície d’atac.
- Sense controls, un error petit es propaga abans que ningú el vegi a temps.
Els quatre controls
Paput puntua i manté quatre controls abans que cap agent arribi a producció. No són opcionals: són la diferència entre automatització fiable i un sistema fràgil.
- Rollback granular: cada acció rellevant es manté reversible, per desfer un agent que es comporta malament abans que arribi als seus límits.
- Cua de revisió humana: les accions d’alt risc passen a un responsable amb nom i gestió d’excepcions, no a una aprovació anònima.
- Registres traçables: identificadors de correlació segueixen cada decisió al llarg de la cadena, per reconstruir què va passar i per què.
- Avaluacions de confiança: llindars quantificats —un mínim de precisió i un màxim de taxa d’override— detecten la deriva silenciosa abans que els usuaris.
Com encaixen amb estàndards reconeguts
Aquests controls no s’inventen de zero: operacionalitzen marcs que els equips de seguretat i compliance ja utilitzen. Això els fa auditables i defensables davant de tercers.
- NIST AI Risk Management Framework: gestiona el risc en disseny, desenvolupament, ús i avaluació.
- OWASP Top 10 per a aplicacions LLM: prompt injection, exposició d’informació sensible, gestió insegura de sortides i excés d’agència.
- CSA AI Controls Matrix: 243 controls en 18 dominis.
Preguntes habituals
Aquests controls alenteixen el projecte?
Al principi afegeixen feina de disseny, però eviten el cost molt més gran d’un agent que actua malament en producció sense manera de desfer-ho ni de saber què va fer.
Notes de camp sobre agents d’IA
illmethinks.io publishes source-transparent notes on AI agents, tools, and operational risk monitored by Paput.ai.