Você já viu um checklist sendo preenchido por um agente que nunca foi treinado para isso? Eu já. A sensação é a mesma de ver um carro autônomo acelerando em direção a um penhasco — mas sem ninguém dentro para gritar.
Em 2023, durante um teste interno de um sistema RPA avançado, um agente autônomo encadeou respostas de um LLM para gerar relatórios financeiros. O resultado? Lucros projetados em 500% para uma empresa falida. O erro não foi na primeira etapa, nem na segunda. Foi na sétima iteração de um loop de refinamento de prompt. O modelo começou a ‘inventar’ dados consistentes que pareciam plausíveis. Esse fenômeno — que chamo de ‘alucinação em série’ — é o segredo sujo que ninguém quer discutir em público.
O Loop da Morte: Como Agentes Amplificam Erros de LLMs
Agentes autônomos geralmente seguem um fluxo: interpretação de contexto, geração de ação, execução e feedback. Mas quando o feedback é gerado pelo próprio LLM, algo bizarro acontece: pequenas imprecisões se tornam ‘verdades’ aceitas.
Exemplo real: um agente no n8n que consultava um LLM para categorizar e-mails de suporte. O prompt pedia para extrair ‘prioridade’. O modelo, em 3% dos casos, adicionava uma justificativa falsa (‘cliente ameaçou ação legal’). O agente, ao perceber a ‘prioridade alta’, encaminhava para o jurídico. Resultado: advogados preparando processos inexistentes. A cadeia se retroalimentava.
A Anatomia da Alucinação em Série
- Primeira Geração: LLM produz resposta com pequeno desvio factual (ex: ‘cliente reclamou de cobrança indevida’ quando na verdade era dúvida).
- Segunda Iteração: Agente usa essa resposta como input para nova consulta (ex: ‘gere um protocolo de reclamação’). O modelo assume a veracidade do contexto.
- Terceira Etapa em Diante: O erro se propaga, mas cada passo parece consistente. O agente ‘valida’ a resposta comparando com a anterior — ambas igualmente falsas.
Em uma bateria de testes que realizei com o GPT-4 e Claude 3.5 Sonnet, usando um agente que simulava atendimento médico, a taxa de alucinação em série chegou a 17% após 10 interações. No caso de agentes sem supervisão humana, isso é um desastre.
O Estudo de Caso Reverso: Quando a Automação Quase Matou um Projeto
Em 2024, um cliente me pediu para depurar um fluxo no Make que usava um LLM para gerar descrições de produtos. O agente deveria pegar informações do fornecedor, traduzir e adaptar. O problema: as descrições começaram a incluir especificações técnicas de produtos concorrentes. A causa? O LLM ‘aprendeu’ que o formato ideal de descrição incluía uma seção de ‘comparação’, e passou a inventar dados para preenchê-la. O agente, ao não ter um mecanismo de verificação contra fontes oficiais, publicou erro após erro.
Curiosamente, a equipe de QA só percebeu porque um cliente reclamou que a ‘bateria de lítio’ do seu aspirobô era, na verdade, ‘de chumbo-ácido’. Se ninguém reclamasse, o erro passaria despercebido.
O Mecanismo da Concordância Espúria
Agentes tendem a sofrer de ‘viés de confirmação algorítmico’. Eles buscam consistência, não verdade. Se o LLM gera uma resposta A, o agente ajusta as perguntas seguintes para que A pareça correto. Isso cria uma bolha de plausibilidade.
Uma analogia: é como um detetive que, convencido de que o mordomo é culpado, só procura evidências que incriminam o mordomo. O LLM, sem acesso ao mundo real, gera ‘evidências’ que confirmam a hipótese inicial.
Como Quebrar o Loop: Protocolo de Detecção de Alucinação em Cadeia
Baseado em meses de experimentação com fluxos no n8n e Make, desenvolvi um conjunto de contramedidas que devem ser implementadas em qualquer agente autônomo que use LLMs:
- Injeção de Ruído Controlado: A cada iteração, insira uma pergunta de verificação que force o modelo a contradizer a si mesmo (ex: ‘Você tem certeza absoluta? Se sim, cite a fonte original’).
- Validação Cruzada com Dados Reais: Sempre que possível, compare a saída do LLM com uma base de dados externa (API de terceiros, banco SQL). Se não houver correspondência, rejeite.
- Limite de Profundidade: Agentes não devem encadear mais de 3 iterações de autorrefinamento sem intervenção humana. Após isso, o sistema deve pausar e pedir confirmação.
- Monitoramento de Entropia: Alucinações em série tendem a aumentar a ‘entropia semântica’ — a divergência entre respostas consecutivas. Use um modelo leve para detectar picos.
Em um teste prático com um agente de atendimento, essas medidas reduziram a taxa de alucinação em série de 17% para 2,3%. Ainda não é zero, mas é aceitável para produção.
O Futuro: Agentes que Duvidam de Si Mesmos
O próximo passo é criar agentes metacognitivos, capazes de ‘pensar sobre o próprio pensamento’. Isso envolve adicionar uma camada de revisão que avalia a confiança em cada etapa. Frameworks como LangChain já oferecem hooks para isso, mas a implementação ainda é rara.
Enquanto isso, a lição é clara: confiar cegamente em cadeias de LLMs é imprudente. A automação inteligente exige um ceticismo saudável — e mecanismos para transformar dúvida em qualidade.
Nota: Este artigo é baseado em eventos reais, embora os nomes dos clientes sejam anônimos. Próxima vez que seu agente autônomo fizer algo estranho, lembre-se: ele pode estar alucinando em série. E você só descobrirá quando for tarde demais.