![Imagem de capa de [Guia de IA #2] Por que a IA alucina: como identificar](/assets/images/posts/c6145b61-e8d2-4983-b19d-795cb10e3577/ai-hallucination-1.jpg)
Pedi à IA que pesquisasse fontes, e ela me entregou uma lista impecável, com títulos e autores de artigos. Ao pesquisar, descobri que os artigos não existiam. Se você já usou IA, provavelmente teve uma experiência parecida. Esse fenômeno, em que a IA apresenta informações falsas como fatos, é chamado de alucinação. Nesta edição, resumimos por que isso acontece, quais respostas devem ser questionadas e como reduzir o problema.
Alucinações são um efeito colateral do funcionamento da IA, não um bug
Como vimos na Parte 1, a IA não é uma máquina que encontra a resposta certa, mas uma máquina que gera a próxima palavra plausível. Porém, plausibilidade e verdade são critérios diferentes.
Depois da frase “O artigo representativo sobre OO é”, é natural que venham o nome de um autor e um título plausível. A IA segue essa naturalidade à risca. Se o artigo existir, ótimo; mas, quando os dados de treinamento não têm informações precisas ou são vagos, ela cria uma entrada falsa com formatação perfeita. Como aprendeu inúmeros formatos de citação, o formato parece real, embora o conteúdo seja inventado.
A atitude é ainda mais problemática. Quando falam sobre algo que não conhecem, as pessoas usam ressalvas como “talvez” ou “não tenho certeza”. A IA, por outro lado, apresenta conteúdo inventado em frases confiantes. Como confiança e precisão são independentes, o tom não permite filtrar alucinações.
Os esforços para reduzir alucinações continuam. Também está sendo reforçado o treinamento para que a IA diga quando não sabe algo. Ainda assim, não é possível afirmar que modelos mais recentes sempre erram menos. Em avaliações publicadas por desenvolvedores, modelos novos chegaram a inventar respostas sobre pessoas e fatos com mais frequência que modelos anteriores. O que reduz alucinações com mais confiabilidade que a geração do modelo é fornecer fontes de apoio, assunto tratado mais adiante. De todo modo, presumir que a IA atual não erra é a abordagem mais perigosa.
4 tipos de respostas que exigem desconfiança
Não dá para viver questionando todas as respostas, então é útil conhecer os pontos em que as alucinações surgem com mais frequência.
1. Nomes próprios e números específicos. Títulos de artigos, páginas de livros, números de dispositivos legais, estatísticas e nomes de decisões judiciais. A formatação pode parecer plausível, mas a existência é outra história. Fontes são especialmente propensas a ser inventadas quando você pergunta: “Pode informar a fonte?”
2. Informações recentes. Por causa do corte de conhecimento visto na Parte 1, assuntos recentes respondidos sem busca na web podem estar desatualizados ou ser inventados. Preços, agendas e informações sobre pessoal são exemplos típicos.
3. Temas restritos e obscuros. Temas com muitos dados de treinamento, como história famosa e tecnologias amplamente usadas, tendem a ser relativamente precisos. Em temas com poucos dados, como informações locais, termos internos e pessoas desconhecidas, a IA tende a preencher lacunas com imaginação.
4. Premissas induzidas. Se uma pergunta contém uma premissa falsa, como “Conte sobre o incidente em que o rei Sejong jogou um smartphone”, a IA pode inventar uma história que se encaixe na premissa em vez de corrigi-la. Quanto mais confiante a pergunta, mais a IA entra no jogo. Os modelos atuais costumam corrigir exemplos famosos assim, mas ainda entram no jogo em temas menos conhecidos.
Como lidar: reduza o custo da verificação
A estratégia básica para lidar com alucinações não é “nunca confiar na IA”, mas verificar apenas informações cujo erro teria consequências graves.
Primeiro, ative a busca na web. Os serviços de IA atuais oferecem um modo de busca na web. Fazer a IA responder com base nos resultados da busca reduz bastante as alucinações. Além disso, você pode clicar no link da fonte para confirmar que ele leva a uma página real. Mas abrir o link não basta: também é preciso verificar se a página realmente diz o que a resposta afirma. Às vezes o link é verdadeiro, mas o resumo está errado.
Segundo, forneça diretamente o material de apoio. Por exemplo, anexe o contrato ao pedir que a IA o resuma. Fazer a IA responder com base no material que você forneceu, e não na própria memória, é a forma mais confiável de reduzir alucinações. Esse método é tratado em profundidade na Parte 4.
Terceiro, questione a confiança dela. Em uma resposta importante, pergunte: “Tem certeza? Se não tiver, diga que não sabe”. Se for uma alucinação, às vezes a IA se corrige. Porém, esse método também não é perfeito: ela pode voltar atrás em uma resposta correta. Use-o apenas como apoio.
Quarto, ajuste o nível de verificação ao uso. Em brainstorming ou na criação de rascunhos, uma alucinação costuma ter pouco impacto. Já em áreas nas quais erros causam prejuízo, como contratos, medicina, direito e investimentos, use a resposta da IA apenas como ponto de partida e sempre confira o original e um especialista.
Resumo
- Alucinações são um efeito colateral do princípio de gerar frases plausíveis, não uma falha.
- Um tom confiante não prova precisão.
- Desconfie especialmente de nomes próprios, números, fontes, informações recentes e temas obscuros.
- Adicione evidências com buscas na web e anexos, e verifique apenas as informações importantes.
A conclusão sobre alucinações não é “portanto, não use IA”. Entender sua natureza mostra em que podemos confiar na IA e onde devemos impor limites. Dentro desses limites, a chave para melhorar a qualidade do resultado é a forma de fazer perguntas — em outras palavras, prompts. A próxima edição aborda quatro fundamentos de prompts que podem fazer a mesma pergunta gerar respostas diferentes.