Como verificar respostas da IA antes de confiar nelas

Você pergunta para uma inteligência artificial:

“A empresa X lançou esse recurso em 2025?”

Ela responde:

“Sim. O recurso foi lançado em março de 2025 e está disponível apenas nos planos pagos.”

A resposta é específica. Tem data. Tem detalhe. Parece não haver muita coisa para desconfiar.

Mas, na verdade, ela contém pelo menos três afirmações diferentes:

1. o recurso existe;
2. foi lançado em março de 2025;
3. está disponível apenas nos planos pagos.

Uma pode estar certa e as outras duas erradas.

Esse é um dos motivos pelos quais verificar uma resposta de inteligência artificial é mais difícil do que simplesmente perguntar:

“Você tem certeza?”

A pergunta mais útil é outra:

o que exatamente nesta resposta precisa ser verdade — e onde eu consigo comprovar isso?

Uma resposta não é um fato só

Quando lemos um texto fluente, tendemos a tratá-lo como uma unidade.

Só que uma única frase pode carregar várias afirmações verificáveis.

Considere:

“A ferramenta passou a oferecer o recurso gratuitamente em 2025 depois de uma atualização anunciada pela empresa.”

Há pelo menos quatro coisas para conferir:

• o recurso existe;
• tornou-se gratuito;
• isso aconteceu em 2025;
• houve um anúncio oficial relacionado à mudança.

É possível que três estejam corretas e uma não.

Essa granularidade também aparece na pesquisa sobre factualidade de modelos. O FActScore, apresentado em 2023, avalia textos decompondo-os em afirmações menores, chamadas de fatos atômicos, e verificando quais delas são sustentadas por uma fonte de conhecimento.

Para quem usa IA no dia a dia, não é necessário transformar isso em uma avaliação acadêmica.

A lição prática é mais simples:

não tente decidir se o texto inteiro parece verdadeiro. Separe as afirmações que realmente precisam ser verdadeiras.

Primeiro descubra o que realmente precisa ser verificado

Nem toda frase produzida pela IA exige investigação.

Se você pediu:

“Reescreva este parágrafo de forma mais clara.”

não há necessariamente um fato externo para verificar.

Mas imagine que você peça:

“Explique essa nova lei e diga quando ela entrou em vigor.”

Agora existem informações externas e verificáveis.

O mesmo acontece quando uma resposta contém:

• datas;
• números;
• preços;
• percentuais;
• nomes;
• funcionalidades de produtos;
• versões de software;
• regras;
• legislação;
• citações;
• estudos científicos;
• acontecimentos recentes;
• afirmações sobre pessoas ou empresas.

Quanto mais a utilidade da resposta depender da precisão dessas informações, maior é a necessidade de verificação.

Nem todo erro tem a mesma importância

Também não faz sentido gastar meia hora verificando cada frase de uma resposta sem consequência prática.

A intensidade da verificação deve acompanhar o risco.

Se a IA erra o ano de lançamento de um filme durante uma conversa casual, o prejuízo provavelmente é pequeno.

Se erra:

• uma informação médica;
• uma obrigação legal;
• um dado usado em um contrato;
• uma configuração de segurança;
• um número utilizado em uma decisão financeira;

o problema é completamente diferente.

O perfil de riscos para IA generativa do NIST trata respostas falsas ou incorretas produzidas com aparência de segurança como um risco relevante, especialmente quando influenciam decisões com consequências reais.

Por isso, antes mesmo de verificar uma informação, vale perguntar:

o que acontece se isso estiver errado?

Essa pergunta define quanto esforço a verificação merece.

Pedir para a própria IA verificar ajuda?

Pode ajudar.

Mas não encerra o problema.

O trabalho Chain-of-Verification testou uma estratégia em que o modelo primeiro produz uma resposta, depois formula perguntas de verificação, responde a essas perguntas separadamente e finalmente gera uma versão revisada.

Nos experimentos realizados pelos pesquisadores, o procedimento reduziu alucinações em diferentes tarefas.

Isso sugere que uma segunda etapa de revisão pode ser útil.

Você pode, por exemplo, pedir:

“Separe as afirmações factuais dessa resposta e identifique quais precisam ser verificadas.”

Ou:

“Quais partes dessa resposta têm maior risco de estarem erradas?”

Mas existe uma diferença importante entre revisão e comprovação externa.

O mesmo modelo que produziu um erro pode repetir esse erro durante a revisão.

Pedir para a IA conferir é uma etapa útil. Não é a prova final.

Perguntar a mesma coisa várias vezes prova alguma coisa?

Outra estratégia intuitiva é repetir a pergunta.

“Se ela responder a mesma coisa três vezes, provavelmente está certa.”

A ideia não é completamente inútil.

O estudo SelfCheckGPT investigou se divergências entre diferentes respostas de um modelo poderiam funcionar como sinal de possíveis informações não factuais.

Em determinadas condições, inconsistências ajudaram na detecção de erros.

Mas há um limite evidente.

Um modelo também pode repetir o mesmo erro várias vezes.

Se três respostas vêm do mesmo sistema e do mesmo conhecimento subjacente, você não possui necessariamente três confirmações independentes.

Tem três respostas.

Consistência pode aumentar sua confiança. Não transforma uma afirmação em fato.

Pedir fontes é melhor — mas ainda não resolve

O próximo passo costuma ser:

“Me dê as fontes.”

Isso é muito melhor do que aceitar uma afirmação impossível de rastrear.

Alguns sistemas conseguem inclusive associar trechos da resposta aos documentos utilizados. A Anthropic documenta um recurso de citações que permite relacionar partes da resposta a trechos específicos dos documentos fornecidos ao Claude.

Ferramentas de pesquisa também podem apresentar links junto das respostas. A OpenAI documenta esse comportamento no ChatGPT Search, enquanto o Google descreve mecanismo semelhante em seu Grounding with Google Search.

Isso melhora bastante uma coisa:

rastreabilidade.

Mas existe uma distinção essencial:

fonte apresentada não é o mesmo que afirmação comprovada.

A IA pode encontrar uma página verdadeira e interpretar errado o que está escrito nela.

Pode pegar uma conclusão válida para uma situação específica e generalizá-la.

Pode usar uma página antiga.

Ou pode citar uma fonte que fala sobre o assunto, mas não sustenta exatamente a frase produzida.

Foi justamente um dos limites discutidos no nosso artigo sobre RAG e recuperação de informações.

Encontrar informação é uma etapa. Verificar a afirmação é outra.

Não confira apenas se o link existe

Imagine que uma IA escreva:

“Segundo o estudo, o método aumentou a produtividade em 40%.”

Ela fornece o artigo científico.

Você abre o link.

O artigo existe.

Isso ainda não confirmou os 40%.

Talvez o estudo tenha encontrado 40% apenas em um grupo específico.

Talvez fossem 40 pontos percentuais em outra métrica.

Talvez o número apareça no artigo, mas não tenha relação com produtividade.

Ou talvez a IA tenha interpretado uma tabela de maneira incorreta.

A verificação real exige uma pergunta mais precisa:

a fonte realmente sustenta essa afirmação?

O link não é o fim da investigação.

É onde ela começa.

Um método prático para verificar respostas da IA

Você não precisa fazer uma auditoria científica toda vez que conversar com um chatbot.

Para informações importantes, um procedimento simples já melhora muito o processo.

1. Separe as afirmações verificáveis

Pegue a resposta e pergunte:

quais partes daqui poderiam ser objetivamente verdadeiras ou falsas?

Por exemplo:

“O software lançou a função X em junho de 2026 e ela está disponível no plano gratuito.”

Transforme em três perguntas:

• A função X existe?
• Foi lançada em junho de 2026?
• Está disponível no plano gratuito?

Agora existem três coisas concretas para investigar.

2. Descubra qual delas realmente importa

Talvez a data exata seja irrelevante.

Mas saber se o recurso está disponível gratuitamente pode mudar sua decisão.

Priorize as afirmações cuja falsidade mudaria aquilo que você pretende fazer.

3. Procure a fonte mais próxima do fato

Se a pergunta é sobre uma funcionalidade de software, comece pela documentação do fabricante.

Se é uma lei, procure o texto legal ou uma fonte oficial.

Se é uma pesquisa científica, procure o artigo original.

Se é uma declaração de uma empresa, procure primeiro a comunicação oficial — e, quando necessário, fontes independentes para avaliar essa declaração.

Isso não significa que uma fonte primária seja automaticamente imparcial ou verdadeira em qualquer circunstância.

Significa que ela reduz uma camada de interpretação entre você e o fato que está tentando conferir.

4. Confira se a fonte sustenta exatamente a afirmação

Não basta encontrar uma página relacionada ao assunto.

Procure o trecho relevante e compare com o que a IA afirmou.

Pergunte:

• o número é o mesmo?
• a data é a mesma?
• existem condições?
• existem exceções?
• a fonte fala exatamente daquilo?
• a conclusão da IA é maior do que a evidência permite?

Essa é provavelmente a etapa mais importante.

5. Confira a data e o contexto

Uma fonte pode ser verdadeira e ainda assim estar desatualizada.

Isso acontece frequentemente com:

• preços;
• planos de assinatura;
• recursos de software;
• documentação técnica;
• legislação;
• políticas de plataformas;
• cargos;
• estatísticas;
• acontecimentos em andamento.

Uma página correta em 2024 pode ser uma fonte ruim para responder a uma pergunta sobre 2026.

6. Quando necessário, procure confirmação independente

Para informações relevantes, uma única fonte pode não ser suficiente.

Mas existe outro cuidado:

dez sites repetindo a mesma informação não representam necessariamente dez confirmações.

Todos podem ter copiado uma única fonte original.

Procure evidências que acrescentem alguma independência ao processo.

E se duas fontes confiáveis discordarem?

Não peça para a IA simplesmente escolher uma.

A divergência é informação.

Pode significar:

• datas de atualização diferentes;
• metodologias diferentes;
• conceitos definidos de maneiras diferentes;
• versões distintas de um produto;
• uma regra geral e uma exceção;
• um assunto sobre o qual ainda não existe consenso.

Nesse caso, uma resposta melhor não é esconder o conflito.

É explicar por que as fontes divergem e qual delas é mais adequada para aquela pergunta.

Uma IA pode ajudar a organizar essa comparação.

Mas a divergência não deveria desaparecer silenciosamente no texto final.

Um segundo chatbot não é uma segunda fonte

Também é comum perguntar ao ChatGPT, depois ao Claude e depois ao Gemini e concluir:

“Os três disseram a mesma coisa, então deve estar certo.”

Isso pode ser um sinal interessante.

Mas não equivale a consultar três fontes independentes.

Modelos diferentes podem ter sido treinados com materiais semelhantes, consultar páginas parecidas ou reproduzir o mesmo erro difundido publicamente.

Para verificar uma afirmação factual:

compare evidências, não apenas respostas de modelos.

Algumas informações merecem desconfiança extra

Números exatos

Percentuais, preços, quantidades, estatísticas e resultados de pesquisas merecem conferência.

Datas

Principalmente datas de lançamento, vigência, atualização ou acontecimentos recentes.

Citações entre aspas

A frase pode ter sido alterada, resumida ou inventada.

Artigos científicos

Confira título, autores, publicação e o que o estudo realmente encontrou.

Links e referências bibliográficas

Como vimos no artigo sobre alucinação da IA, modelos podem produzir referências que parecem perfeitamente plausíveis e não existem.

Informação atual

Se a resposta depende do que acontece hoje, confirme que houve pesquisa atualizada.

A própria OpenAI orienta usuários a verificar informações importantes, incluindo citações, dados, informações técnicas e referências externas, e a consultar as fontes quando precisão importa.

O objetivo não é desconfiar de tudo

Há um risco inverso nesta discussão.

Se concluirmos que cada frase produzida por uma IA exige comprovação manual, perdemos boa parte da utilidade da ferramenta.

Uma ideia para título não exige o mesmo padrão de verificação que uma orientação jurídica.

Um resumo de um texto que você acabou de fornecer não exige o mesmo processo que uma estatística usada em uma apresentação pública.

Uma sugestão de estrutura pode ser usada de forma diferente de uma configuração que será aplicada em um servidor de produção.

A questão é adequar a confiança à consequência.

Quanto maior o custo do erro, menor deve ser a quantidade de confiança terceirizada para a IA.

Uma verificação de 60 segundos

Para boa parte das situações cotidianas, antes de usar uma informação da IA, faça quatro perguntas:

1. Qual afirmação aqui realmente importa?
2. De onde veio essa informação?
3. A fonte sustenta exatamente o que foi dito?
4. Essa fonte ainda vale para o contexto atual?

Se as quatro respostas estiverem claras, você já fez muito mais do que simplesmente perguntar:

“Tem certeza?”

Isso muda a forma de usar IA

Os artigos anteriores desta série ajudam a explicar partes diferentes do mesmo problema.

A janela de contexto mostra quais informações podem estar disponíveis para o modelo durante uma tarefa.

A alucinação explica por que uma resposta plausível ainda pode estar errada.

O RAG mostra como informações externas podem ser recuperadas antes de uma resposta ser produzida.

Este artigo acrescenta uma parte que nenhuma dessas tecnologias elimina:

o julgamento sobre a evidência.

Uma resposta pode ter sido produzida por um modelo excelente.

Pode ter usado pesquisa na web.

Pode utilizar RAG.

Pode trazer cinco fontes.

Pode soar extremamente convincente.

Nada disso substitui a pergunta:

a evidência realmente sustenta aquilo que estou prestes a acreditar ou usar?

Perguntas frequentes

Posso perguntar para a própria IA se a resposta está correta?

Pode. Pedir revisão, procurar contradições e solicitar perguntas de verificação pode ajudar a encontrar erros. Pesquisas como Chain-of-Verification encontraram redução de alucinações com processos desse tipo nas tarefas estudadas. Isso não transforma a revisão do próprio modelo em verificação independente.

Se ChatGPT, Claude e Gemini concordarem, a informação está certa?

Não necessariamente. Concordância entre modelos é um sinal, não uma prova. Para informações importantes, verifique as evidências externas.

Uma resposta com fontes é mais confiável?

Ela é pelo menos mais auditável. Você consegue investigar de onde determinada afirmação veio. Ainda é necessário verificar se a fonte realmente sustenta o que foi escrito.

Wikipédia serve para verificar?

Depende da finalidade. Ela pode ser um bom ponto de partida e ajudar a localizar referências, mas para afirmações importantes vale procurar a fonte original ou uma autoridade mais diretamente relacionada ao fato.

Tenho que verificar todas as respostas da IA?

Não. A intensidade da verificação deve acompanhar o risco e a finalidade. Uma ideia para um título exige um padrão diferente de uma orientação médica, jurídica, financeira ou técnica usada em produção.

Pedir para a IA pesquisar na internet resolve o problema?

Não. Pesquisa fornece informação externa e atual, mas ainda existem etapas de seleção, interpretação e síntese. Como vimos no artigo sobre RAG, recuperação e verificação não são a mesma coisa.

O que fica

O maior problema de uma resposta errada de IA não é ela estar mal escrita.

É justamente o contrário.

Ela pode estar organizada, clara, específica e acompanhada de referências.

Por isso, aparência não é um bom critério de confiança.

O caminho mais seguro não é tentar desenvolver algum tipo de sexto sentido para perceber quando a IA está inventando.

É tornar a resposta verificável.

Separe as afirmações. Encontre a evidência. Confira se a evidência sustenta o que foi dito.

A pergunta deixa de ser:

“A IA parece saber do que está falando?”

e passa a ser:

“Eu consigo verificar por que isso deveria estar certo?”

Porque uma resposta confiável não é simplesmente aquela que parece segura.

É aquela que deixa um caminho de verificação.