Humano en el circuito: aprobaciones que protegen sin frenar la operación

Cuando una empresa pone a trabajar un agente de IA, la primera reacción de la dirección suele ser: “Vale, pero que todo pase por una persona”. Es una reacción comprensible. Sin embargo, la investigación muestra que poner a una persona encima de una IA no garantiza, por sí solo, un mejor resultado.

Lo que dice la mayor revisión sobre el tema

En 2024, investigadores del MIT publicaron en Nature Human Behaviour una revisión sistemática y un metaanálisis (un análisis que combina estadísticamente los resultados de muchos estudios) de experimentos que comparaban tres situaciones: personas solas, IA sola y personas trabajando con IA (Vaccaro, Almaatouq y Malone, 2024). Las conclusiones van contra la intuición:

• De media, la combinación de persona e IA fue peor que el mejor de los dos trabajando por separado (g de Hedges = -0,23; una medida estándar del tamaño del efecto, donde un valor negativo indica un peor resultado).
• La pérdida se concentró en tareas de decisión. En tareas de creación, la combinación tendió a ser positiva, aunque sin significación estadística por sí sola.
• Cuando la IA era mejor que las personas, añadir una persona empeoró el resultado (g = -0,54). Cuando las personas eran mejores, añadir IA lo mejoró (g = 0,46).

La supervisión humana aporta valor donde la persona sabe algo que la IA no sabe. Donde no lo sabe, tiende a aportar ruido.

Por qué las personas dejan de prestar atención

La psicología de la automatización lleva décadas estudiando este problema. En una revisión de referencia, Parasuraman y Manzey (2010) describen dos fenómenos: la complacencia, que aparece sobre todo cuando la persona atiende varias tareas a la vez, y el sesgo de automatización, que lleva tanto a aceptar propuestas erróneas como a no darse cuenta de lo que el sistema ha dejado escapar. Ambos afectan a principiantes y a expertos.

Un experimento de campo con 181 reclutadores profesionales mostró el mismo efecto en la práctica. Los reclutadores apoyados por una IA mejor, pero imperfecta, obtuvieron peores resultados que los apoyados por una IA más débil. Quienes tenían la IA más débil dedicaron más tiempo a cada currículum y lo analizaron con más cuidado (Dell’Acqua, s. f.).

Cómo diseñar aprobaciones que funcionen

De aquí salen reglas concretas:

Y, para que la aprobación aporte valor:

1. Aprobar solo lo que la persona puede evaluar mejor que el sistema. Por ejemplo, el contexto comercial, la relación con el cliente o las excepciones conocidas.
2. Mostrar el porqué y el origen. Cada propuesta debe ir con los datos usados y su fuente. Quien ve el razonamiento aprueba con criterio; quien solo ve el resultado aprueba por costumbre.
3. Pocas aprobaciones, pero reales. Una cola de cien aprobaciones al día genera complacencia. Una de diez genera atención.
4. Medir la calidad de la aprobación. Cuántas propuestas se modifican, y en qué tipo de casos. Si nadie modifica nada, o el sistema es excelente o la aprobación ha dejado de ser real.

Ampliar a partir del historial

Cada aprobación es un dato. Al cabo de unas semanas ves qué propuestas se aprueban sin cambios y cuáles se corrigen. Las primeras pueden bajar de nivel; las segundas muestran dónde necesita el agente mejores reglas. Así, la autonomía del agente se amplía un tipo de caso cada vez, siempre a partir del historial.