Herramienta de marca de agua de código abierto de Google para que los usuarios dent texto generado por IA

Los investigadores de Google explican su herramienta de marca de agua

En una publicación en la plataforma X , el gigante de los motores de búsqueda reveló que está abriendo el código fuente de su herramienta de marca de agua SynthID Text y dijo que estará "disponible gratuitamente para empresas y desarrolladores, ya que les ayudará a dent su contenido generado por IA".

Pushmeet Kohli , dent de investigación de Google DeepMind y coautor de un artículo de investigación de Google DeepMind, dijo: "El sistema no compromete las funciones de los modelos de IA, sino que simplemente los mejora".

Las imágenes y los vídeos han sido centrales en los debates sobre las dent de contenido y las marcas de agua se han señalado como la solución necesaria para combatir los deepfakes.

La Coalición para la Procedencia y Autenticidad del Contenido (C2PA), una colaboración entre empresas de tecnología y los principales medios de comunicación para desarrollar un sistema para adjuntar metadatos cifrados para indicar archivos de imágenes y videos generados por IA también ha sido fundamental en estas discusiones.

Según el artículo de investigación de Google DeepMinds, SynthID Text interfiere durante la generación, ya que altera algunas palabras emitidas por un chatbot para que sean claras para un detector SynthID pero casi invisibles para los humanos.

"Modificaciones como estas aportan una firma estadística al texto generado por IA y durante la fase de detección de marca de agua, la firma se puede medir para ver si el texto proviene de un modelo de IA mediante el LLM con marca de agua", escribieron los investigadores en el artículo.

Al generar oraciones palabra por palabra, así es como funcionan los LLM que impulsan los chatbots, ya que eligen la siguiente palabra probable dependiendo del contexto de lo que vino antes. Al asignar aleatoriamente puntuaciones numéricas a las palabras candidatas, el LLM produce palabras con una puntuación más alta. Se colocarán marcas de agua en un fragmento de texto que habría sido analizado por el detector y se habría encontrado que tiene una puntuación más alta.

Hoy, estamos abriendo el código fuente de nuestra herramienta de marca de agua de texto SynthID a través de un kit de herramientas de IA generativa responsable actualizado.

Disponible gratuitamente para desarrolladores y empresas, les ayudará a dent su contenido generado por IA. 🔍

Obtenga más información → https://t.co/n2aYoeJXqn pic.twitter.com/4uRKYaz57Y

– Google DeepMind (@GoogleDeepMind) 23 de octubre de 2024

Los expertos de la industria elogian a Google por dar un paso en la dirección correcta

A pesar de que el sistema DeepMind funciona mejor que otras herramientas al poner marcas de agua en texto, los investigadores reconocieron en su artículo que la herramienta todavía tiene fallas. Por ejemplo, si modifica un texto generado por Gemini, el detector será engañado.

"Si bien SynthID no es una solución milagrosa para dent contenido generado por IA, es un componente importante para desarrollar herramientas de dent de IA más confiables".

– Kohli.

Si los usuarios modifican los textos significativamente o usan otro chatbot para resumir el texto, el detector se desviará al colocar una marca de agua en el texto generado por IA.

Google afirma que SynthID Text no compromete la calidad, precisión o velocidad de generación de texto según lo probado por el sistema integrado en sus modelos Gemini . La compañía también agregó que funciona incluso con texto recortado, modificado o parafraseado.

“La detección es un problema particular cuando se empieza a tener en cuenta la implementación en situaciones reales, ya que hay problemas con la revisión de texto en la naturaleza, donde habrá que saber qué modelo de marca de agua se ha aplicado para saber y dónde ubicar el señal”, explicó Bruce MacCormack, miembro del comité directivo de C2PA.

Además de Google, OpenAI también ha estado trabajando en la tecnología de marcas de agua de texto con IA durante años, pero ha retrasado su lanzamiento por motivos de viabilidad técnica y comercial.

Pero los expertos de la industria han elogiado en general la iniciativa de Google como un paso en la dirección correcta.

"Es prometedor para mejorar el uso de dent de contenido duradero de C2PA para documentos y texto sin formato", dijo Andrew Jenks, director de procedencia de medios de Microsoft y presidente ejecutivo de C2PA.

MacCormack también añadió que si bien los investigadores de Google todavía tienen mucho que hacer para que esto sea un caso práctico, sigue siendo una gran iniciativa y "el primer paso en el maratón que tenemos por delante".