La mayoría de lo que falla con la IA en las operaciones no es un error del modelo. Es que nadie decidió de antemano qué podía hacer el sistema, quién se daría cuenta cuando se equivocara y cómo deshacerlo. Esta política es nuestra respuesta a esas tres cuestiones.
Seis reglas bajo las que se construye cada programa
Una persona con nombre responde por cada decisión automatizada
Cada programa nombra a la persona de tu organización que responde por lo que decide el sistema, y los permisos del sistema quedan por escrito antes de que se ponga en marcha. "Lo decidió el modelo" no es una respuesta que aceptemos, así que no construimos sistemas en los que esa fuera la única explicación posible.
Interviene una persona cuando la consecuencia es alta
Las decisiones que afectan al dinero, la salud, el empleo o la situación legal de una persona las propone el sistema y las confirma una persona, salvo que decidas lo contrario por escrito y exista una vía de reversión.
Los modelos ven lo mínimo imprescindible
Un modelo recibe los datos que necesita para la tarea y nada más. El acceso se delimita por flujo de trabajo, se registra y tú puedes revisarlo.
Tus datos no son material de entrenamiento
No usamos los datos del cliente para entrenar o ajustar modelos para nadie más, y elegimos proveedores de modelos y condiciones contractuales que garanticen que ellos tampoco lo hagan.
Cada decisión deja constancia
Lo que vio el sistema, qué decidió y por qué queda registrado en un formato que tus auditores pueden leer. La reversión es una vía diseñada, no un ticket de soporte.
Se mide antes y después
La precisión, el coste y el tiempo se miden frente a la referencia manual durante la ejecución en paralelo, y los datos son tuyos continúe o no el programa.
Lo que no vamos a construir
- Sistemas cuyo propósito sea tomar una decisión sobre una persona sin ninguna vía de revisión humana.
- Automatización diseñada para ocultar a clientes, empleados o reguladores que están interactuando con un sistema.
- Vigilancia de empleados más allá de lo que un proceso realmente requiere y de lo que se les ha comunicado.
- Cualquier programa en el que el cliente no pueda nombrar a la persona responsable de los resultados.
Cómo se hace cumplir
Los permisos, los puntos de revisión humana y el registro descritos arriba son entregables de la fase de diseño, revisados por ti antes de construir nada, y se vuelven a comprobar en la puerta de acceso a la operación gestionada. La página de seguridad y gobernanza de datos describe los controles que hacen que se cumplan en producción.
