O crescimento do conteúdo produzido por inteligência artificial está criando um novo problema para a própria inteligência artificial.
Quanto mais textos, resumos e respostas sintéticas entram na internet, maior a chance de modelos futuros aprenderem com material criado por outros modelos em vez de fontes humanas originais.
Esse ciclo pode preservar erros, apagar informações menos comuns e dificultar cada vez mais a identificação da origem de uma afirmação.
É nesse ponto que o fundador da Geo, Yaniv Tal, vê a verificação humana como uma camada cada vez mais importante da infraestrutura de conhecimento.
O problema começa antes da resposta da IA
A crítica de Tal é que muitos erros atribuídos aos modelos surgem antes mesmo de uma pergunta ser feita.
A internet foi criada para distribuir informação.
Ela não foi necessariamente desenhada para preservar de forma consistente quem produziu uma afirmação, qual evidência a sustenta ou como diferentes especialistas discordam sobre ela.
Quando modelos aprendem sobre esse ambiente, eles absorvem também suas limitações.
Conteúdo sintético pode voltar para o treinamento
Uma das preocupações mais importantes está no retorno de material gerado por IA para novos conjuntos de dados.
Um modelo produz um artigo.
Esse artigo é republicado.
Outro sistema resume o conteúdo.
Depois, um modelo futuro pode receber essas versões sintéticas como se fossem novas informações.
O resultado é um ciclo no qual um erro inicial pode sobreviver por várias gerações.
Model collapse mostra o risco desse processo
Pesquisadores já observaram um problema relacionado.
Um estudo publicado na Nature em 2024 analisou modelos treinados repetidamente com material criado por gerações anteriores.
O estudo descreveu o fenômeno como model collapse.
Nos experimentos citados, conteúdos menos comuns começaram a desaparecer relativamente cedo.
Em gerações posteriores, a distribuição produzida pelos modelos passou a se afastar de forma significativa dos dados originais.
Informação humana original fica mais valiosa
Esse resultado muda a discussão sobre escala.
Durante anos, mais dados eram tratados quase automaticamente como vantagem.
Mas, se uma parcela crescente desses dados é sintética, quantidade deixa de ser o único fator importante.
A origem passa a importar mais.
Material produzido por humanos, com autoria e contexto verificáveis, pode se tornar um recurso mais escasso e valioso.
Geo tenta preservar a estrutura por trás da informação
A proposta da Geo parte justamente dessa necessidade.
A plataforma não trata cada informação como um bloco isolado.
Ela separa a afirmação, a fonte e a evidência que sustenta o argumento.
Também registra relações entre diferentes entradas.
Uma informação pode apoiar outra, contradizê-la ou responder diretamente a um ponto controverso.
A discordância não precisa ser apagada
Esse modelo também tenta resolver um problema comum em respostas produzidas por IA.
Modelos de linguagem frequentemente sintetizam posições concorrentes em uma única resposta.
Isso pode gerar uma aparência de consenso onde ele não existe.
Geo segue uma lógica diferente.
Perspectivas concorrentes podem permanecer visíveis, mas organizadas de acordo com a qualidade dos argumentos e das evidências.
O objetivo é evitar certeza artificial
Esse ponto é relevante porque respostas confiantes não são necessariamente respostas confiáveis.
Em vários assuntos, especialistas legítimos podem discordar.
Nesse cenário, uma resposta mais honesta pode ser mostrar duas ou três interpretações bem fundamentadas.
A estrutura proposta pela Geo tenta preservar exatamente esse tipo de pluralidade.
Humanos entram como avaliadores, não como donos da verdade
A participação humana não significa que um grupo central decidiria qual visão é correta.
Tal diz que a ideia é usar julgamento humano para avaliar a força de fontes e argumentos.
Perspectivas alternativas continuariam disponíveis.
Isso transforma o papel humano em curadoria e avaliação, não em censura automática de posições divergentes.
As Spaces distribuem a governança por assunto
Geo organiza o conhecimento em comunidades independentes chamadas Spaces.
As primeiras áreas incluem cripto, saúde, inteligência artificial, educação, assuntos mundiais e política dos Estados Unidos.
Cada comunidade pode reunir pessoas interessadas ou especializadas naquele domínio.
Isso evita, pelo menos em princípio, que uma única autoridade controle todas as áreas do conhecimento.
Editores precisam construir reputação
Usuários podem participar das discussões.
Pessoas com conhecimento relevante podem se candidatar à função de editor.
O programa de curadoria da Geo pede que participantes avaliem fontes, conectem argumentos e acrescentem informações estruturadas ao grafo de conhecimento.
Tal pretende que a reputação construída por essas contribuições acompanhe o usuário entre diferentes Spaces.
Reputação cria memória de acertos e erros
Essa parte é particularmente relevante para confiabilidade.
Na internet atual, uma pessoa pode fazer uma afirmação errada e depois produzir outra sem que o histórico fique claramente conectado.
Um sistema baseado em reputação pode preservar esse registro.
Isso permitiria avaliar não apenas quem fala, mas como aquela pessoa se comportou anteriormente.
Identidade continua sendo um problema difícil
A proposta, porém, cria um desafio imediato.
Como saber se um colaborador é realmente quem afirma ser?
Sistemas abertos podem sofrer ataques Sybil, nos quais uma única pessoa cria várias identidades para aumentar sua influência sobre votações, rankings ou recompensas.
Ferramentas de IA tornam esse tipo de manipulação ainda mais fácil porque podem criar personas convincentes em escala.
Não existe solução perfeita para identidade
Biometria pode ajudar a verificar unicidade, mas levanta questões de privacidade.
Redes de confiança social podem ser mais descentralizadas, mas dependem de relações entre participantes.
Ferramentas de identidade com zero knowledge podem proteger mais informações pessoais, mas trazem complexidade técnica.
Cada solução cria uma combinação diferente entre privacidade, acessibilidade, controle e resistência a ataques.
Especialização também precisa ser contextual
Outro problema é determinar se reputação deve ser transferida entre áreas.
Uma pessoa pode ser altamente qualificada em criptografia e pouco preparada para avaliar saúde.
Geo pretende trabalhar com comunidades específicas por domínio.
Isso pode limitar o risco de tratar reputação geral como prova automática de competência em qualquer assunto.
Cripto serve como laboratório natural
O setor de cripto oferece um bom exemplo da diferença entre dado verificável e interpretação.
Uma blockchain pode demonstrar que determinada transação aconteceu em um endereço e bloco específicos.
Isso é verificável diretamente.
Mas o registro não mostra necessariamente quem controla a carteira, por que o dinheiro foi movimentado ou o que a transação significa.
Tudo ao redor da transação ainda exige interpretação
Uma equipe pode afirmar que uma transferência representa investimento estratégico.
Outro analista pode dizer que se trata de movimentação interna.
O blockchain confirma a transferência.
Ele não confirma automaticamente nenhuma das narrativas.
É exatamente esse tipo de separação que Geo pretende preservar.
Marketing e evidência não deveriam receber o mesmo tratamento
Essa distinção é especialmente importante em mercados digitais.
Projetos podem apresentar métricas verificáveis ao lado de afirmações promocionais.
Se uma interface apresenta os dois tipos de conteúdo com a mesma voz, usuários podem atribuir o mesmo nível de confiança a ambos.
Tal argumenta que sistemas confiáveis precisam deixar a diferença explícita.
Reguladores técnicos também falam em proveniência
A ideia de rastrear a origem da informação não é exclusiva da Geo.
O perfil de IA generativa do NIST, publicado em julho de 2024, recomenda que organizações documentem as fontes utilizadas em dados de treinamento.
O instituto também sugere acompanhar a origem de conteúdo gerado e analisar como sistemas de proveniência interagem com revisores humanos.
Especialistas de domínio e comunidades afetadas também aparecem entre os participantes recomendados em certas avaliações.
C2PA resolve origem, mas não verdade
Outro exemplo é o padrão C2PA.
Ele usa Content Credentials assinadas criptograficamente para registrar quem criou ou modificou um ativo digital e como ele foi alterado.
Isso ajuda a verificar origem e integridade.
Mas não diz se uma afirmação é verdadeira.
Um conteúdo pode ter proveniência perfeita e ainda conter uma conclusão incorreta.
Proveniência e julgamento precisam trabalhar juntos
Essa limitação mostra por que rastrear origem é apenas uma parte do problema.
Também é necessário avaliar evidência.
Evidência precisa ser comparada.
Discordâncias precisam permanecer visíveis.
Pessoas precisam assumir responsabilidade pelas afirmações que fazem.
Nesse sentido, a confiabilidade depende de uma combinação entre tecnologia e julgamento humano.
Human-in-the-loop ganha uma função diferente
O papel humano nesse modelo não é revisar manualmente cada palavra produzida pela IA.
Isso seria inviável em escala.
A função mais valiosa pode ser estruturar o ecossistema de conhecimento que alimenta esses sistemas.
Humanos podem ajudar a decidir quais fontes são fortes, onde existe controvérsia real e quais afirmações precisam de evidência adicional.
A escala da IA aumenta o valor do julgamento
Tal argumenta que máquinas já conseguem gerar muito mais conteúdo do que pessoas conseguem consumir.
Isso muda o recurso escasso.
Produzir texto deixa de ser difícil.
Julgar qualidade, contexto e responsabilidade passa a ser mais importante.
Esse deslocamento pode redefinir o papel dos especialistas na era da IA.
Conclusão
A discussão sobre confiabilidade de IA está deixando de ser apenas uma questão de melhorar modelos.
Ela também envolve preservar a qualidade do conhecimento utilizado por esses sistemas.
Conteúdo sintético repetido, perda de proveniência, anonimato e desaparecimento de discordâncias podem degradar a informação mesmo antes de uma resposta ser gerada.
Ponto-chave final
A verificação humana pode ser mais útil quando funciona como camada de organização e responsabilidade, não como simples aprovação final. Sistemas que mantêm fontes, evidências, reputação e opiniões divergentes conectadas podem reduzir o risco de erros sintéticos se repetirem indefinidamente. À medida que a internet recebe mais conteúdo gerado por máquinas, o valor do julgamento humano pode aumentar em vez de diminuir.
