Precisión del procesamiento de documentos: qué esperar y cómo medirla

No existe una respuesta útil a "¿qué precisión tiene el procesamiento de documentos?" porque la precisión no es una sola cifra. La única medida que predice lo que va a pasar en tu operación es la precisión por campo sobre tus propios documentos, medida contra un conjunto de referencia verificado por humanos, desglosada por tipo de documento y por origen. Un campo de cabecera de factura como el número de factura es un problema distinto de una línea de detalle anotada a mano, que a su vez es distinto de una casilla marcada en un fax escaneado. Un sistema puede ser excelente en uno e inútil en otro, y una media combinada esconde exactamente los fallos que te van a hacer daño.

Lo que de verdad deberías pedir es una tasa de procesamiento directo con una tasa de error aceptable: la proporción de documentos que pasan de principio a fin sin que los toque ninguna persona, dado que los documentos que sí llegan a una persona son aquellos sobre los que el sistema tenía verdaderas dudas. Ese único binomio —cuánto pasa directo, y cuánto se escapa mal— es lo que determina si la automatización ahorra dinero. Todo lo que sigue es cómo llegar a esa cifra con honestidad, y cómo saber cuándo la respuesta es que todavía no deberías automatizar ese tipo de documento.

Precisión por campo frente a precisión por documento

Estas dos medidas responden a preguntas distintas y divergen con fuerza.

La precisión por campo pregunta: de todos los valores de campo extraídos, ¿qué proporción era correcta? Es la medida diagnóstica. Te dice qué campos son fiables, cuáles necesitan validación y dónde invertir el esfuerzo de ingeniería.

La precisión por documento pregunta: ¿qué proporción de documentos tenía todos los campos correctos? Es la medida que determina el coste operativo, porque un documento con un solo campo mal sigue necesitando que una persona lo abra, encuentre el problema y lo corrija. El coste de gestionar un documento con un error está cerca del coste de gestionar uno con cinco.

La aritmética no perdona. La precisión por documento se va reduciendo con cada campo que extraes, así que un documento con treinta campos quedará muy por debajo de la media por campo aunque cada campo individual parezca sólido. Dos sistemas con la misma precisión por campo pueden dar resultados por documento muy distintos según si sus errores se concentran en pocos documentos malos o se reparten entre muchos. Los errores concentrados te convienen más: menos documentos tocados.

Así que exige ambas medidas, y exige que se informen por separado para cada tipo de documento. Cuando un proveedor da una sola cifra sin decir de qué medida se trata ni sobre qué corpus, es una cifra de marketing.

No todos los campos importan igual

Antes de medir nada, clasifica tus campos por niveles. Es, con diferencia, el paso de mayor impacto, y la mayoría de los compradores se lo saltan.

• Campos críticos — un error provoca un pago a la parte equivocada, un importe erróneo, un incumplimiento normativo o un fallo visible para el cliente. Datos bancarios, importes totales, identificadores fiscales, números de póliza, fechas que determinan un derecho.
• Campos operativos — un error provoca repetir trabajo o un enrutamiento erróneo, pero se detecta más adelante. Centros de coste, códigos de departamento, números de referencia.
• Campos de conveniencia — se capturan porque son útiles, y es tolerable que estén mal o en blanco. Nombres de contacto, texto descriptivo, direcciones secundarias.

Los campos críticos deberían validarse contra algo autorizado, no limitarse a extraerse con alta confianza. Los campos de conveniencia casi nunca deberían bloquear un documento. Si tu proceso trata todos los campos como igual de bloqueantes, tu tasa de procesamiento directo será pésima por motivos que no tienen nada que ver con la calidad de la extracción.

Umbrales de confianza y procesamiento directo

Todo sistema de extracción serio emite una puntuación de confianza por campo. El umbral que fijes sobre esa puntuación es el mando que controla toda la economía del proceso. Si lo pones alto, casi todo se deriva a una persona: estás a salvo y no has ahorrado nada. Si lo pones bajo, todo pasa directo, incluidos los errores.

La forma correcta de fijar los umbrales es de manera empírica, por campo, a partir de tus datos de prueba. Para cada campo, representas qué proporción de los elementos por encima de una confianza dada son realmente correctos, y luego eliges el umbral donde la tasa de error residual es aceptable para el nivel de ese campo. Los campos críticos reciben un umbral estricto. Los campos de conveniencia reciben uno laxo, o ninguno. Un único umbral global para todos los campos es el segundo error más habitual que vemos, después de dar una única cifra global de precisión.

Dos cosas importan más que el propio valor del umbral:

• ¿Está calibrada la puntuación de confianza? Una puntuación calibrada significa que los elementos puntuados con una confianza dada son correctos aproximadamente en esa proporción. Muchos sistemas emiten puntuaciones que ordenan bien pero no están calibradas — son útiles como orientación, pero no puedes leer un umbral en ellas sin hacer pruebas. Comprueba esto antes de confiar en la configuración recomendada de cualquier proveedor.
• ¿Qué pasa por debajo del umbral? Derivar los casos de baja confianza solo tiene valor si la experiencia de revisión es rápida. Si un revisor tiene que abrir el documento de origen en una ventana, buscar el campo y volver a teclearlo en otra, has movido el trabajo, no lo has reducido. La interfaz de revisión forma parte del sistema de precisión, no es un añadido. Así la tratamos nosotros cuando diseñamos canalizaciones de inteligencia documental y de datos.

La cifra que hay que seguir en producción es el binomio: tasa de procesamiento directo, y tasa de error entre los documentos que pasaron directos. Esos errores — los que el sistema dio por seguros y en los que se equivocó — son los únicos errores que llegan a tu negocio. Seguro y equivocado es el modo de fallo que importa. Una extracción insegura y equivocada que se deriva a una persona es el sistema funcionando como debe.

La validación contra datos maestros le gana a la extracción en bruto

La mayor mejora individual disponible para la mayoría de las canalizaciones documentales no es un modelo mejor. Es comprobar los valores extraídos contra sistemas que ya tienes.

El nombre de un proveedor leído en una factura es una suposición. Un nombre de proveedor que coincide con un registro activo en tu maestro de proveedores, con un identificador fiscal y una dirección de pago coincidentes, es un hecho. La misma lógica se aplica en general:

• Resolución de entidades — casar las partes extraídas con tus maestros de clientes, proveedores o empleados. Una coincidencia aproximada que no llega a resolverse es una señal potente de que algo va mal, independientemente de la confianza de extracción.
• Comprobaciones referenciales — ¿existe el número de pedido de compra, está abierto, aparece esa línea en él?
• Aritmética interna — ¿las líneas suman el subtotal, el subtotal más el impuesto equivale al total? Los documentos llevan sus propias sumas de control y la mayoría de las canalizaciones las ignoran.
• Reglas de formato y rango — una fecha fuera de una ventana plausible, un importe un orden de magnitud distinto de la norma histórica para esa contraparte, una cuenta bancaria que ha cambiado desde la última factura. Este último es tanto un control antifraude como un control de precisión, por eso lo tratamos dentro de seguridad.

La validación convierte extracciones de baja confianza en hechos de alta confianza y, con la misma importancia, señala extracciones de alta confianza que resultan estar equivocadas. Es el mecanismo que te permite subir la tasa de procesamiento directo sin subir la tasa de fuga de errores. También depende de que tus datos maestros sean decentes: si tu maestro de proveedores está lleno de duplicados y registros muertos, arregla eso primero, porque ninguna calidad de extracción lo va a compensar.

Cómo hacer bien una prueba de precisión

La mayoría de los pilotos están diseñados para tener éxito. Así se diseña uno que dice la verdad.

• Muestrea sobre la realidad de producción, no sobre la carpeta limpia. Extrae documentos al azar de un periodo real, incluidos los feos: faxes, fotos hechas con el móvil, escaneos torcidos, PDFs con varios documentos dentro, el proveedor que cambió de formato el trimestre pasado, documentos en otros idiomas si los recibes. Si tu muestra no tiene documentos malos, tu resultado es ficción.
• Estratifica por tipo de documento y por origen. Mide cada formato y cada canal importante por separado. Las medias entre tipos ocultan el tipo que va a consumir toda tu capacidad de gestión de excepciones.
• Construye el conjunto de referencia con cuidado. Una persona teclea cada campo a partir del documento de origen. Para los campos críticos, haz que una segunda persona los teclee de forma independiente y concilia los desacuerdos. Cuando dos personas cuidadosas no coinciden, has encontrado o bien una definición de campo ambigua, o bien un documento genuinamente ilegible; ambas cosas merece la pena conocerlas antes de redactar los requisitos. Esta es la parte cara de la prueba y la que no se puede saltar.
• Reserva un conjunto de prueba que el proveedor nunca vea. Los sistemas ajustados sobre tu muestra rendirán mejor sobre esa muestra. Mantén una parte sellada para la medición final.
• Define de antemano las reglas de coincidencia. ¿Es "ACME Corp." una coincidencia de "ACME Corporation"? ¿Una fecha es correcta si el valor es correcto pero el formato no? ¿Un cero final en un importe cuenta como fallo? Decide esto antes de ver los resultados, o luego discutirás sobre ello con el pulgar puesto en la balanza.
• Mide las excepciones, no solo los aciertos. Cronometra cuánto tarda una persona en resolver un documento señalado. Esa cifra, multiplicada por tu volumen de excepciones, es el coste operativo del proceso automatizado. Nuestra calculadora de valor está construida en torno al volumen y al tiempo de gestión precisamente por esto.
• Prueba la deriva. Ejecuta la misma medición sobre documentos de dos periodos distintos. Las poblaciones de documentos cambian — nuevos proveedores, nuevos formatos, mezclas estacionales. Una canalización que no se vuelve a medir de forma periódica es una canalización cuya precisión ya no conoces.

Cuando la respuesta es "todavía no hay que automatizar esto"

Lo diremos sin rodeos, porque así se ahorra dinero todo el mundo: algunos procesos documentales no están listos, y forzarlos a pasar por la automatización produce un sistema que cuesta más supervisar que el proceso manual al que sustituye.

Espera cuando:

• El criterio de referencia está en disputa. Si dos personas con experiencia en tu equipo leen el mismo documento y no se ponen de acuerdo sobre lo que debería contener un campo, el problema es de definición del proceso, no de tecnología. Automatizar una regla no definida solo hace la inconsistencia más rápida.
• El volumen es bajo y la variedad es alta. Una larga cola de formatos únicos con volumen modesto rara vez compensa el esfuerzo de construcción y mantenimiento. Automatiza la cabeza concentrada de la distribución, deja la cola en manual, y sé honesto en que la cola se va a quedar manual.
• El sistema de destino no puede aceptar el resultado. Si la aplicación de destino no tiene una API utilizable y la única vía de integración es una automatización de pantalla frágil, la precisión de la extracción es lo de menos. Arregla primero la vía de integración.
• Los datos maestros no son fiables. Sin una referencia fiable contra la que validar, pierdes tu mejor palanca de precisión y lo apuestas todo a la extracción en bruto.
• Un error es catastrófico e irreversible. Algunos pagos, algunas declaraciones regulatorias, algunas decisiones clínicas o legales exigen revisión humana obligatoria al margen de la confianza. Automatiza la preparación, no la decisión.

En varios de estos casos, lo correcto es la automatización parcial: extraer y precargar, y dejar que una persona confirme. El ahorro es menor que con el procesamiento directo completo, pero es real, y el perfil de riesgo es completamente distinto. Trabajamos esa disyuntiva como parte de cómo trabajamos, antes de que nadie se comprometa a construir nada.

A qué debes exigir a un proveedor que se comprometa

Pide esto, por escrito, sobre tus propios documentos:

• Precisión por campo, por cada campo y cada tipo de documento, sobre un conjunto reservado que hayas controlado tú.
• Precisión por documento, para cada tipo de documento.
• Tasa de procesamiento directo junto con la tasa de error entre los documentos que pasaron directos, con los umbrales propuestos.
• Tiempo medio y en el peor caso para gestionar excepciones, medido con revisores reales.
• Qué pasa cuando aparece un formato nuevo: ¿el sistema se degrada con elegancia y avisa, o falla en silencio?
• Cómo se monitoriza la precisión después de la puesta en producción y quién responde cuando se degrada.

Ese último punto es lo que separa una demo de un sistema en producción. La precisión no es una propiedad que una canalización tenga una vez; es una propiedad que se mantiene. Muestrear el resultado en producción para una verificación continua, alertar ante cambios en la distribución de confianza o en el volumen de excepciones, y tener una vía definida para reentrenar o rehacer las reglas: todo eso debe estar en el diseño desde el primer día, junto con el resto de tu parque de automatización inteligente de procesos.

Si estás evaluando el procesamiento de documentos ahora mismo y quieres un plan de medición que puedas defender internamente — o una opinión franca sobre si merece la pena automatizar un tipo de documento concreto — habla con nosotros. Miraremos tus documentos y volúmenes reales y te diremos qué esperaríamos, incluido cuándo la respuesta honesta es esperar.

Preguntas que nos hacen sobre esto