A promessa dos Resumos de IA do Google era clara: tornar a busca mais ágil, entregando respostas diretas com base em conteúdos indexados da web. No entanto, uma pesquisa recente levanta dúvidas relevantes sobre a confiabilidade dessa ferramenta e coloca em xeque a precisão das informações que milhões de usuários recebem diariamente.
O estudo e seus números
A pesquisa foi conduzida pela Oumi, uma startup especializada no desenvolvimento e treinamento de modelos de inteligência artificial, a pedido do jornal The New York Times. Utilizando o benchmark SimpleQA, foram avaliadas 4.326 buscas em dois momentos: outubro de 2024, com o Gemini 2, e fevereiro de 2025, após a atualização para o Gemini 3. Os resultados indicaram melhora entre os modelos: com o Gemini 2, os resumos acertavam em 85% dos casos; com o Gemini 3, esse índice subiu para 91%. Em termos práticos, isso significa que a ferramenta ainda erra aproximadamente uma em cada dez respostas, e o problema vai além do dado incorreto em si.
Acerto no dado, erro nas fontes
O estudo identificou uma fragilidade crescente na qualidade das referências apresentadas. Em outubro de 2024, 37% das respostas corretas continham links de apoio que não sustentavam completamente a informação apresentada. Com o Gemini 3, essa proporção saltou para 56%. Ou seja, mesmo quando o resumo acerta o conteúdo principal, há chance crescente de que as fontes citadas não corroborem o que foi afirmado. Agravando o quadro, das 5.380 fontes analisadas, Facebook e Reddit figuram como a segunda e quarta mais citadas, e a presença do Facebook era ainda maior nos casos em que os resumos estavam errados.
Uma ferramenta passível de manipulação
Além da imprecisão, o estudo expôs uma vulnerabilidade mais preocupante: a possibilidade de manipular os resultados por meio de conteúdo publicado na web. O jornalista Thomas Germain, do podcast The Interface da BBC, publicou um artigo fictício relatando que teria vencido um campeonato de comer cachorro-quente na Dakota do Sul. No dia seguinte, ao pesquisar o tema no Google, sua própria história aparecia citada nos resumos como fato verídico. O sistema não sinaliza a ausência de fontes diversas nem alerta o usuário sobre possíveis imprecisões, o que pode gerar uma falsa sensação de credibilidade.
A posição do Google e o que fica de lição
O porta-voz da empresa, Ned Adriance, contestou a metodologia da Oumi, afirmando que o estudo apresenta falhas sérias e não reflete buscas reais. Ainda assim, o próprio Google havia publicado internamente resultados semelhantes. A evolução dos modelos de linguagem é inegável, mas os dados do estudo reforçam a necessidade de cautela: confiar em respostas geradas automaticamente, sem verificar as fontes indicadas, pode levar a interpretações equivocadas, especialmente em temas que exigem precisão, como saúde, ciência e direito. Por ora, checar a fonte continua sendo uma etapa indispensável.