Quando uma empresa põe um agente de IA a trabalhar, a primeira reação da direção costuma ser: “Ok, mas tudo passa por uma pessoa.” É uma reação compreensível. A investigação mostra, no entanto, que pôr uma pessoa em cima de uma IA não é, por si só, uma garantia de melhor resultado.
O que diz a maior revisão sobre o tema
Em 2024, investigadores do MIT publicaram na Nature Human Behaviour uma revisão sistemática e meta-análise de experiências que compararam três situações: pessoas sozinhas, IA sozinha e pessoas a trabalhar com IA (Vaccaro, Almaatouq e Malone, 2024). As conclusões contrariam a intuição:
- Em média, a combinação pessoa e IA foi pior do que o melhor dos dois a trabalhar sozinho (g de Hedges = −0,23).
- A perda concentrou-se em tarefas de decisão. Em tarefas de criação, a combinação tendeu a ser positiva, embora sem significância estatística isolada.
- Quando a IA era melhor do que as pessoas, acrescentar uma pessoa piorou o resultado (g = −0,54). Quando as pessoas eram melhores, acrescentar IA melhorou-o (g = 0,46).
A supervisão humana acrescenta valor onde a pessoa sabe algo que a IA não sabe. Onde não sabe, tende a acrescentar ruído.
Porque é que as pessoas deixam de prestar atenção
A psicologia da automação estuda este problema há décadas. Numa revisão de referência, Parasuraman e Manzey (2010) descrevem dois fenómenos: a complacência, que surge sobretudo quando a pessoa tem várias tarefas ao mesmo tempo, e o viés de automação, que leva tanto a aceitar propostas erradas como a não reparar no que o sistema deixou escapar. Ambos afetam principiantes e especialistas.
Uma experiência de campo com 181 recrutadores profissionais mostrou o mesmo efeito na prática. Os recrutadores apoiados por uma IA melhor, mas imperfeita, tiveram resultados piores do que os apoiados por uma IA mais fraca. Quem tinha a IA mais fraca passou mais tempo em cada currículo e analisou-o com mais cuidado (Dell’Acqua, s.d.).
Como desenhar aprovações que funcionam
Daqui resultam regras concretas:
| Nível | Exemplos | Regra |
|---|---|---|
| Baixo | Classificar documentos, preparar rascunhos | O agente faz, fica registado |
| Médio | Email a um fornecedor, ordem de trabalho | O agente faz dentro de limites, revisão por amostragem |
| Alto | Pagamentos, contratos, comunicações sensíveis | O agente prepara, uma pessoa aprova |
E, para que a aprovação acrescente valor:
- Aprovar só o que a pessoa consegue avaliar melhor do que o sistema. Por exemplo, o contexto comercial, a relação com o cliente ou exceções conhecidas.
- Mostrar porquê e de onde. Cada proposta deve vir com os dados usados e a fonte. Uma pessoa que vê o raciocínio aprova com critério; uma que só vê o resultado aprova por hábito.
- Poucas aprovações, mas reais. Uma fila de cem aprovações por dia gera complacência. Uma fila de dez gera atenção.
- Medir a qualidade da aprovação. Quantas propostas são alteradas, e em que tipo de caso. Se ninguém altera nada, ou o sistema é excelente, ou a aprovação deixou de ser real.
Alargar com base no histórico
Cada aprovação é um dado. Ao fim de algumas semanas percebes que propostas são aprovadas sem alterações e quais são corrigidas. As primeiras podem descer de nível; as segundas mostram onde o agente precisa de melhores regras. Assim, a autonomia do agente alarga-se um tipo de caso de cada vez, sempre com base no histórico.
Fontes
- Vaccaro, M., Almaatouq, A., Malone, T. (2024). When combinations of humans and AI are useful: A systematic review and meta-analysis. Nature Human Behaviour, 8(12), 2293-2303.
- Parasuraman, R., Manzey, D. H. (2010). Complacency and Bias in Human Use of Automation: An Attentional Integration. Human Factors, 52(3).
- Dell'Acqua, F. (s.d.). Falling Asleep at the Wheel: Human/AI Collaboration in a Field Experiment on HR Recruiters. Laboratory for Innovation Science, Harvard Business School (working paper).