El modelo de razonamiento de OpenAI a menudo "piensa" en chino: nadie puede explicar por qué

Las personas que utilizan OpenAI han dent una vulnerabilidad. Poco después de que OpenAI publicara o1, su modelo inicial de IA de “razonamiento”, se observó un comportamiento peculiar. Aparentemente, cuando se plantea una pregunta en inglés, el modelo ocasionalmente comienza a “pensar” en un idioma distinto al inglés, como el chino o el persa. 

Un usuario dijo: "[O1] comenzó a pensar en chino al azar a mitad de camino". Además, un usuario completamente diferente en X también dijo: "¿Por qué [o1] empezó a pensar en chino al azar?"

¿Por qué o1 pro empezó a pensar en chino al azar? Ninguna parte de la conversación (más de 5 mensajes) fue en chino... muy interesante... influencia de los datos de entrenamiento pic.twitter.com/yZWCzoaiit

– Rishab Jain (@RishabJainK) 9 de enero de 2025

Según las observaciones, cuando se le presenta un problema que resolver, o1 comienza su proceso de “pensamiento”, que implica una secuencia de pasos de razonamiento que conducen a una respuesta. La respuesta final de o1 sería en inglés si la consulta estuviera escrita en ese idioma.

Aún así, el modelo realizaría ciertos procedimientos en un lenguaje diferente antes de formular su conclusión.

En particular, OpenAI no ha proporcionado una explicación de la conducta peculiar de o1, ni siquiera la ha reconocido. Por tanto, ¿cuál podría ser la causa de esto?

Aquí hay algunas teorías de los profesionales de la IA.

El director ejecutivo de Hugging Face, Clément Delangue, mencionó en X que los modelos de razonamiento como o1 se entrenan en conjuntos de datos con una gran cantidad de letras chinas.

Además, según Ted Xiao, investigador de Google DeepMind, organizaciones como OpenAI utilizan servicios de etiquetado de datos chinos de terceros, y la transición al chino es un ejemplo de “influencia lingüística china en el razonamiento”.

Ted Xiao escribió en una publicación de X : “Los laboratorios AGI como OpenAI y Anthropic utilizan servicios de etiquetado de datos 3P para datos de razonamiento de nivel de doctorado para ciencias, matemáticas y codificación; Por razones de costo y disponibilidad de mano de obra experta, muchos de estos proveedores de datos tienen su sede en China”.

Aparentemente, durante el proceso de entrenamiento, las etiquetas, también conocidas como dent o anotaciones, ayudan a los modelos a comprender e interpretar los datos.

 Por ejemplo, las etiquetas que se utilizan para entrenar un modelo de reconocimiento de imágenes pueden consistir en leyendas que se refieren a cada persona, lugar u objeto representado en una imagen o marcas que rodean los objetos.

Además, las investigaciones han demostrado que las clasificaciones sesgadas pueden dar lugar a modelos sesgados. Por ejemplo, el anotador promedio está más inclinado a etiquetar frases en inglés vernáculo afroamericano ( AAVE ). 

Esto se conoce como la gramática informal utilizada por ciertos estadounidenses negros como tóxica. Como resultado, los detectores de toxicidad de IA que han sido entrenados en las etiquetas perciben AAVE como excesivamente tóxico.

Aún así, otros expertos no aceptan la teoría del etiquetado de datos chino. Destacan que es igualmente probable que o1 haga la transición al hindi, al tailandés o a un idioma distinto del chino mientras intenta formular una solución.

Más bien, estos expertos sostienen que o1 y otros modelos de razonamiento pueden estar utilizando los lenguajes más eficientes para lograr un objetivo.

Con ese fin, Matthew Guzdial, un investigador de IA, dijo: "El modelo no sabe qué idioma es o si los idiomas son diferentes". Esto se debe a que los tokens, al igual que el etiquetado, tienen el potencial de imponer sesgos.

En particular, varios traductores de palabra a token suponen que un espacio en una oración indica una nueva palabra. Esto es así independientemente del hecho de que no todos los idiomas utilizan espacios para separar palabras.

Sin embargo, Luca Soldaini, científico investigador del Instituto Allen para la IA, una organización sin fines de lucro, enfatizó que es imposible determinarlo con certeza. Afirmó: “Este tipo de observación sobre un sistema de IA desplegado es imposible de respaldar debido a la naturaleza opaca de estos modelos […] Es uno de los numerosos casos en los que se subraya la importancia de la transparencia en la construcción de sistemas de IA. .”

Problemas de OpenAI

El año 2024 fue nada menos que una montaña rusa para OpenAI. La empresa y su director ejecutivo, Sam Altman, comenzaron el año siendo demandados por Elon Musk. Argumentó que la empresa abandonó su objetivo inicial sin fines de lucro para enfatizar las ganancias por encima del beneficio público.

En el último año, ocho periódicos de Estados Unidos, incluidos el New York Daily News, el Chicago Tribune y el Denver Post, demandaron a OpenAI y Microsoft. Acusaron a la empresa de utilizar millones de publicaciones con derechos de autor para entrenar chatbots de IA sin permiso ni pago. Alegan que la técnica violaba sus derechos de propiedad intelectual.

modelo de razonamiento openais piensa en chino

Además, OpenAI encontró varias dificultades con ChatGPT, como interrupciones ocasionales, fallas que resultaron en respuestas inexactas o sin sentido del chatbot y preocupaciones con respecto a la privacidad del usuario. También hubo casos en los que la IA generó contenido sesgado u ofensivo.

Consiga un trabajo Web3 bien remunerado en 90 días: la hoja de ruta definitiva