PRON VS PROMPT

Se ha vuelto rutinario que los grandes modelos de lenguaje (LLMs o Large Language Models) superen a los humanos promedio en una amplia gama de tareas relacionadas con el lenguaje, y la escritura creativa no es una excepción.
Es el momento de subir la apuesta y hacerse la siguiente pregunta: ¿Están los LLMs listos para competir en habilidades de escritura creativa con un autor consagrado (en lugar de un novelista promedio)?
Para proporcionar una respuesta inicial a esta pregunta, hemos organizado un concurso entre Patricio Pron (un escritor considerado entre los mejores de su generación) y GPT-4 (uno de los mejores modelos de lenguaje en la actualidad), en el espíritu de duelos anteriores como el de Deep Blue y Kasparov o AlphaGo y Lee Sidol.
Pedimos a Pron y a GPT-4 que proporcionaran treinta títulos cada uno, y a continuación que escribieran historias cortas tanto para sus propios títulos como para los de su oponente. Después, preparamos una rúbrica de evaluación inspirada en la definición de creatividad de Margaret Boden, y recopilamos 5.400 juicios de expertos (críticos y académicos) para los 120 relatos (60 por contendiente). Los resultados no te sorprenderán.