O modelo de raciocínio da OpenAI muitas vezes ‘pensa’ em chinês – Ninguém consegue explicar por quê

Indivíduos que usam OpenAI dent uma vulnerabilidade. Pouco depois da OpenAI publicar o1, seu modelo inicial de IA de “raciocínio”, um comportamento peculiar foi observado. Aparentemente, quando uma investigação é feita em inglês, o modelo ocasionalmente começa a “pensar” numa língua diferente do inglês, como o chinês ou o persa. 

Um usuário disse: “[O1] começou a pensar aleatoriamente em chinês no meio do caminho”. Além disso, um usuário completamente diferente no X também disse: “Por que [o1] aleatoriamente começou a pensar em chinês?”

Por que o1 pro começou a pensar aleatoriamente em chinês? Nenhuma parte da conversa (mais de 5 mensagens) foi em chinês… muito interessante… influência dos dados de treinamento pic.twitter.com/yZWCzoaiit

-Rishab Jain (@RishabJainK) 9 de janeiro de 2025

De acordo com as observações, ao ser apresentado um problema para resolver, o1 iniciaria seu processo de “pensamento”, que envolve uma sequência de etapas de raciocínio que levam a uma resposta. A resposta final de o1 seria em inglês se a consulta fosse escrita nesse idioma.

Ainda assim, o modelo realizaria determinados procedimentos numa língua diferente antes de formular a sua conclusão.

Notavelmente, a OpenAI não forneceu uma explicação para a conduta peculiar do o1, nem sequer a reconheceu. Portanto, qual poderia ser a causa disso?

Aqui estão algumas teorias de profissionais de IA.

O CEO da Hugging Face, Clément Delangue, mencionou no X que modelos de raciocínio como o1 são treinados em conjuntos de dados com um grande número de letras chinesas.

Além disso, de acordo com Ted Xiao, pesquisador do Google DeepMind, organizações como a OpenAI usam serviços de rotulagem de dados chineses de terceiros, e a transição para o chinês é um exemplo da “influência linguística chinesa no raciocínio”.

Ted Xiao escreveu em um post X : “Laboratórios AGI como OpenAI e Anthropic utilizam serviços de rotulagem de dados 3P para dados de raciocínio em nível de doutorado para ciências, matemática e codificação; por motivos de disponibilidade de mão de obra especializada e custos, muitos desses fornecedores de dados estão baseados na China.”

Aparentemente, durante o processo de treinamento, os rótulos, também chamados de dent ou anotações, auxiliam os modelos na compreensão e interpretação dos dados.

 Por exemplo, os rótulos usados ​​para treinar um modelo de reconhecimento de imagem podem consistir em legendas que se referem a cada pessoa, lugar ou objeto representado em uma imagem ou marcações que cercam os objetos.

Além disso, a pesquisa demonstrou que classificações tendenciosas podem resultar em modelos tendenciosos. Por exemplo, o anotador médio está mais inclinado a rotular frases em inglês vernáculo afro-americano ( AAVE ). 

Isso é conhecido como a gramática informal usada por certos negros americanos como tóxica. Como resultado, os detectores de toxicidade de IA treinados nos rótulos consideram AAVE excessivamente tóxico.

Ainda assim, a teoria da rotulagem de dados chinesa o1 não é aceita por outros especialistas. Eles enfatizam que é igualmente provável que o1 faça a transição para o hindi, o tailandês ou um idioma diferente do chinês ao tentar formular uma solução.

Em vez disso, estes especialistas argumentam que o1 e outros modelos de raciocínio podem estar a utilizar as linguagens mais eficientes para atingir um objectivo.

Para esse fim, Matthew Guzdial, pesquisador de IA, disse: “O modelo não sabe o que é a linguagem ou que as línguas são diferentes”. Isso ocorre porque os tokens, assim como a rotulagem, têm o potencial de impor preconceitos.

Em particular, vários tradutores de palavra para token presumem que um espaço em uma frase indica uma nova palavra. Isso ocorre independentemente do fato de que nem todos os idiomas usam espaços para separar palavras.

No entanto, Luca Soldaini, cientista pesquisador do Allen Institute for AI, sem fins lucrativos, enfatizou que é impossível determinar com certeza. Ele afirmou: “É impossível fazer backup deste tipo de observação em um sistema de IA implantado devido à natureza opaca desses modelos […] É um dos numerosos casos em que a importância da transparência na construção de sistemas de IA é sublinhada .”

Problemas de OpenAI

O ano de 2024 foi nada menos que uma montanha-russa para a OpenAI. A empresa e seu CEO, Sam Altman, começaram o ano sendo processados ​​por Elon Musk. Ele argumentou que a empresa abandonou seu objetivo inicial sem fins lucrativos para enfatizar os lucros em detrimento do benefício público.

No ano passado, oito jornais dos Estados Unidos, incluindo o New York Daily News, o Chicago Tribune e o Denver Post, processaram a OpenAI e a Microsoft. Eles acusaram a empresa de usar milhões de publicações protegidas por direitos autorais para treinar chatbots de IA sem permissão ou pagamento. Eles alegaram que a técnica violava seus direitos de propriedade intelectual.

Além disso, Mira Murati, diretora de tecnologia da OpenAI, anunciou sua saída. Este foi um momento chave porque as suas competências tecnológicas foram fundamentais para o desenvolvimento da Empresa.

Além disso, a OpenAI encontrou diversas dificuldades com o ChatGPT, como interrupções ocasionais, falhas que resultaram em respostas imprecisas ou absurdas do chatbot e preocupações com a privacidade do usuário. Houve também casos em que a IA gerou conteúdo tendencioso ou ofensivo.

Consiga um emprego bem remunerado na Web3 em 90 dias: o roteiro definitivo