La novela peruana premiada y el 99% IA: ¿Pangram tiene la última palabra?

El chongo literario que nos tiene a todos en shock

La novela 'Donde el agua trabaja' se llevó el primer Premio Internacional de Novela Breve Almadía Ventosa-Arrufat en julio, con 20 mil euros en el bolsillo y dejando atrás a más de 2200 textos de 22 países. Las reglas del juego eran claritas como el agua: cero IA, ni un poquito. Si había sospecha, ¡fuera de concurso!

Tras su publicación en septiembre y en plena presentación en España, el escándalo salpicó al autor peruano David Silva Rojas, a la editorial y al jurado: El País destapó que, tras pasar el libro entero por el detector Pangram, la novela premiada contiene un 99% de texto generado por una IA.

Pangram al detalle: el detector que está dando de qué hablar

Pero, ¿qué es este tal Pangram? Es un clasificador de texto que usa redes neuronales para intentar adivinar si un texto lo hizo un humano o un modelo de lenguaje. Los creadores de Pangram Labs, la empresa detrás de esto, dicen que su técnica está diseñada para reducir los errores y que, además, no discrimina a quienes no tienen el inglés como lengua materna. También usa "prompts espejo" y analiza por secciones.

Según ellos, Pangram tiene poquísimos errores: un 0.0041% de falsos positivos y un 0.34% de falsos negativos. Un estudio independiente de la universidad de Chicago lo comparó con otros detectores comerciales y concluyó que Pangram es el que menos confunde un texto humano con uno hecho por IA. Suena prometedor, ¿no?

Así se puso a prueba al detector

La investigación no solo se centró en 'Donde el agua trabaja'. Para calibrar Pangram, se hicieron pruebas con una batería de textos:

• Libros "pre-IA": Se pasaron 56 libros publicados entre 2019 y 2020 (o sea, antes de que ChatGPT se hiciera famoso) y el resultado fue un 0% de IA en todos.

• Textos sintéticos: También se probaron textos hechos con IA, y el detector los identificó como tales.

• Obras maestras: Novelas de autores consagrados como Javier Cercas, Isabel Allende y Antonio Muñoz Molina también dieron un rotundo 0% de IA.

Además de la novela de Silva Rojas, se analizaron 175 bestsellers. ¿El dato más impactante? Cuatro de cada diez libros autopublicados en Amazon, y que son superventas, tienen al menos un 25% de texto escrito con IA. ¡Alucinante!

¿Es Pangram infalible? La verdad no es tan simple

Aunque Pangram se vende como superconfiable, hay que ser honestos: ningún detector de IA es infalible al cien por ciento. Incluso el propio medio que destapó el caso lo reconoce.

Mira estas pruebas serias que muestran sus límites:

• Si un texto hecho por un humano pasa por una IA común y la modifica bastante, Pangram lo etiqueta como humano ¡en el 41% de los casos!

• OpenAI, la empresa que creó ChatGPT, tuvo que retirar su propio detector de IA porque no era muy bueno. Y aunque dicen tener otro mejor, no lo lanzan al mercado.

No es tan difícil hacer que falle. Ángel L. Fernández Recuero explicó paso a paso cómo un simple espacio extra en un texto puede cambiar el veredicto del detector. Y el célebre arquitecto y divulgador Pedro Torrijos también le dio con palo el mes pasado, demostrando que con un texto sencillo escrito a mano, el detector quedaba en ridículo. Sí, su muestra era pequeña, pero dejó la duda picando.

¿Quién escribió qué? Ese es el dilema del millón

Aquí viene el verdadero problema de fondo: un porcentaje, aunque sea un 99%, no es una prueba de autoría. Obviamente, es suficiente para levantar la sospecha y pedir los borradores del proyecto, pero no es concluyente.

Estos sistemas solo estiman la probabilidad; no te dicen si la IA escribió todo, si solo lo corrigió, o si solo le dio ideas para la trama o los personajes. La línea es súper delgada y confusa.

Hay casos extremos, incluso entre humanos. Las memorias del antiguo tenista Agassi, por ejemplo, las escribió el periodista J. R. Moehringer después de 250 horas de entrevistas. Agassi las firma, pero el trabajo de escritura fue del periodista. Entonces, la pregunta no es si hay IA, sino cuánta y cómo se usó. Lo que sí es clarísimo y no se puede discutir, son las bases del concurso: prohibido el uso de IA.

Es un poco distópico que sea una IA la que determine si una obra está hecha con IA. ¿Será que esta tecnología nos ha alcanzado más rápido de lo que esperábamos?