GPT-6.1 Terra vs Claude y Gemini: prueba de diseño

Cuando le pides un diseño a FontVibe, un modelo de lenguaje hace el trabajo del diseñador antes de que se dibuje ninguna imagen. Lee el encargo, propone tres direcciones de diseño y luego escribe las instrucciones que renderiza el modelo de imagen. GPT-6.1 Terra salió el 26 de octubre de 2026, así que probé si hace ese trabajo mejor que GPT-5.6 Terra, el modelo que FontVibe usa ahora, y lo comparé con otros seis modelos de lenguaje de OpenAI, Anthropic y Google.

Cada modelo recibió los mismos 12 encargos, tres veces cada uno. El modelo de imagen fue el mismo para todos los diseños: GPT Image 2.5 Sunburst a 2K y calidad Medium, el modelo que quedó segundo en mi prueba de Qwen Image 3.0 y en mi prueba de Grok Imagine 2.0. Lo único que cambiaba de un diseño a otro era qué modelo de lenguaje hacía de diseñador. Los 287 diseños se calificaron a ciegas, con los nombres de los modelos ocultos.

Los resultados

Las notas son sobre 10 y promedian todos los diseños que se terminaron. Claude Opus 5.5 no entra en la clasificación: solo terminó diseños en 8 de los 12 encargos, sobre todo en los más fáciles, así que su promedio no es comparable con el de los demás (cómo se compara en los mismos encargos). Los intervalos de confianza del 95% salen de remuestrear los encargos, porque las tres ejecuciones de un encargo comparten un mismo encargo y una misma pasada de calificación. Dos modelos cuentan como distintos solo cuando el intervalo de su diferencia encargo por encargo no incluye el cero; las 28 comparaciones están en el apéndice. El costo por diseño es la mediana del costo del modelo de lenguaje para un diseño (la propuesta más las instrucciones de imagen) con el precio público de cada proveedor el 30 de octubre de 2026; la imagen en sí cuesta lo mismo con cualquier modelo y no está incluida. Todas las notas por encargo están en el apéndice.

Destacan cuatro resultados.

Qué modelo de lenguaje hace de diseñador marca una diferencia, pero solo por calidad no se pudo distinguir entre la mayoría de los modelos. Con el mismo modelo de imagen y la misma configuración, las notas promedio fueron de 7.08 a 7.97. De los 28 pares de modelos, 5 se diferencian con claridad al compararlos encargo por encargo: GPT-6.1 Terra sacó menos nota que GPT-5.6 Terra, GPT-6 Luna y Claude Opus 5.5, y GPT-6.1 Sol menos que GPT-6 Luna y Claude Opus 5.5. Los otros 23 pares son empates en esta prueba.

Si se juntan calidad, costo, velocidad y fiabilidad, las diferencias se abren. Modelos del mismo grupo de calidad se diferenciaron más de 30 veces en costo por diseño (GPT-6 Luna $0.005, Claude Sonnet 5.5 $0.18). El tiempo para proponer y escribir las instrucciones de imagen se diferenció en torno al doble (unos 41 segundos con GPT-5.6 Terra y Claude Sonnet 5.5, unos 87 con GPT-6.1 Sol). Y los modelos fallaron por razones distintas (detalles). En conjunto, varios modelos pierden en al menos un aspecto sin ganar en otro: GPT-6.1 Sol costó lo mismo que GPT-5.6 Terra y no se pudo distinguir en calidad, pero tardó el doble; Gemini 3.8 Flash costó ocho veces más que GPT-6 Luna, no se pudo distinguir en calidad y tuvo 8 errores del proveedor; GPT-6.1 Terra costó más que GPT-6 Luna y sacó claramente menos nota.

Ningún modelo gana en todo; cada uno encaja con un tipo de trabajo. Claude Opus 5.5 tuvo el promedio más alto, 7.97, pero con solo 18 diseños en 8 encargos. En la prueba principal, sus propuestas, mucho más largas que las de cualquier otro modelo, se cortaron 17 veces en el límite de 6,600 tokens que FontVibe fijó para su propio uso en producción, y otra ejecución falló porque sus instrucciones de imagen volvieron rotas. Repetidas con el límite duplicado, se terminaron todas; en los 36 diseños sacó claramente más nota que GPT-5.6 Terra, Claude Sonnet 5.5, Gemini 3.8 Flash y los dos modelos GPT-6.1, y no se pudo distinguir de GPT-6 Luna ni de Gemini 4 Argon (detalles). También es el más lento y el más caro: una mediana de $0.41 por diseño, o $0.72 por diseño terminado si se cuentan las ejecuciones fallidas. Encaja con trabajos de diseño complejos que no tienen prisa, donde su ventaja compensa el precio. GPT-6 Luna estuvo en el grupo de calidad más alto, terminó todas las ejecuciones y fue el más barato, lo que lo convierte en la mejor relación calidad-precio y encaja con grandes volúmenes. GPT-5.6 Terra fue rápido y equilibrado, lo que encaja con el uso en tiempo real, cuando alguien está esperando el resultado.

El texto inventado es un defecto medible, y varió 14 veces entre modelos. GPT-6.1 Terra añadió en promedio 0.17 líneas por diseño que el encargo nunca dio; Gemini 3.8 Flash añadió 2.36: años de fundación, eslóganes, listas de servicios y cifras falsas. El texto inventado fue la razón más común por la que un diseño perdía puntos en información, así que, se use el modelo que se use, el flujo necesita una revisión del texto.

GPT-6.1 Terra fue el punto de partida de esta prueba, así que unas palabras sobre él. En el mismo flujo y con las mismas instrucciones, fue más conservador que GPT-5.6 Terra. Comparado encargo por encargo, sacó 0.50 puntos menos (IC 95% −0.81 a −0.21) y menos nota en 9 de los 12 encargos. Perdió en letras y acabado (−0.93) y en atractivo (−1.38, con menos nota en los 12 encargos); su legibilidad fue algo más alta (+0.47), dentro del margen de error. Sus diseños fueron los que menos texto inventado tenían y los más simples; 17 de sus 36 solo coincidían en parte con el ambiente que pedía el encargo. Esto describe cómo lee un encargo, elige una dirección y escribe las instrucciones de imagen, no cómo le va en otras tareas.

Costo, velocidad y fiabilidad

La calidad del diseño es solo una parte de elegir un modelo. Las mismas ejecuciones también midieron cuánto cuesta cada diseño, cuánto tarda y con qué frecuencia falla.

Los tiempos son el tiempo propio del modelo de lenguaje en cada paso, en las ejecuciones que se terminaron. Renderizar la imagen llevó una mediana de 20 segundos más, igual con todos los modelos. Los costos usan el precio público de cada proveedor el 30 de octubre de 2026, cubren los dos pasos del modelo de lenguaje y dejan fuera la imagen, que cuesta lo mismo sea cual sea el modelo que la diseñó. "Gasto por 1,000 diseños terminados" cuenta todo lo gastado, incluidas las ejecuciones fallidas y las repeticiones, dividido entre los diseños que se terminaron. "Terminados al primer intento" cuenta las ejecuciones que produjeron una imagen sin repetirse; las dos ejecuciones de GPT-5.6 Terra y las dos de GPT-6.1 Sol en las que la recepción de FontVibe se detuvo a hacer una pregunta cuentan como no terminadas al primer intento, aunque el modelo no tuvo la culpa. Los reintentos internos son las veces que el flujo de FontVibe volvió a intentarlo con el mismo modelo dentro de una solicitud después de un intento fallido.

Costo. GPT-6 Luna fue, con mucha diferencia, el más barato: unos $5 por 1,000 diseños terminados, frente a $93 de GPT-5.6 Terra y $721 de Claude Opus 5.5, cuyas ejecuciones fallidas costaron casi tanto como las terminadas. GPT-6.1 Terra costó menos de la mitad que GPT-5.6 Terra. Claude Opus 5.5 fue el más caro, en parte porque escribió las propuestas más largas: su propuesta mediana llegó al límite de 6,600 tokens.

Velocidad. Claude Sonnet 5.5 fue el que propuso más rápido, con una mediana de 27 segundos, y GPT-5.6 Terra quedó cerca con 29 segundos. GPT-6.1 Sol y Claude Opus 5.5 tardaron más de un minuto. La mediana de Gemini 4 Argon fue de 40 segundos, pero su 10% más lento tardó 73 segundos o más, la mayor dispersión de todos los modelos.

Fiabilidad. GPT-6.1 Terra, GPT-6 Luna, Claude Sonnet 5.5 y Gemini 4 Argon terminaron las 36 ejecuciones al primer intento. La salida de Gemini 3.8 Flash nunca falló, pero el servicio de Google devolvió 8 errores (límites de uso y tiempos de espera agotados) en 7 de sus ejecuciones, y todas se terminaron al repetirlas. Claude Opus 5.5 falló 18 veces: 17 propuestas cortadas en el límite de salida y un conjunto de instrucciones de imagen que volvió roto. La mayoría de sus 19 reintentos internos fueron segundos intentos tras una propuesta cortada que se volvieron a cortar.

Cómo hice la prueba

El flujo

Esta prueba mide un solo trabajo: hacer de diseñador. En el modo de diseño de FontVibe, una solicitud pasa por tres pasos:

1. Proponer. Un modelo de lenguaje lee el encargo y propone tres direcciones de diseño, cada una con un título, el texto exacto que se va a imprimir, colores, una composición y un estilo de letra elegido.
2. Escribir las instrucciones de imagen. Para la primera dirección, un modelo de lenguaje escribe las instrucciones completas para el modelo de imagen.
3. Renderizar. Un modelo de imagen la dibuja.

El modelo probado hizo los pasos 1 y 2. El paso 3 siempre fue GPT Image 2.5 Sunburst a 2K y calidad Medium. Todas las solicitudes pasaron por el flujo de producción de FontVibe, con los mismos prompts de sistema, el mismo formato de salida y el mismo ajuste de esfuerzo de razonamiento (medium) para todos los modelos. Ningún modelo tuvo su propio prompt ni sus propios ajustes. Siempre se renderizó la primera dirección; yo no elegí direcciones.

Los ocho modelos

Los 12 encargos, en cuatro capas

Un diseñador puede fallar de cuatro maneras distintas, así que los encargos vienen en cuatro capas de tres, una capa para cada manera.

Los encargos cubren seis idiomas (inglés, chino, español, portugués, alemán y japonés), los seis idiomas de la interfaz de FontVibe, y todos piden texto en el diseño. Ocho de los 12 encargos se usaron por primera vez en una prueba interna de tres modelos de OpenAI en septiembre de 2026. La empresa del póster de empleo y todos los nombres y direcciones de los encargos son inventados. El texto completo de cada encargo aparece en su sección, más abajo.

Ejecuciones y fallos

Cada modelo ejecutó cada encargo tres veces: 36 diseños por modelo, 288 en total. Cuando un diseño fallaba, la causa decidía qué pasaba después:

• Falló la salida del propio modelo (cortada en el límite de tokens de producción, o una propuesta vacía o rota): se contó como fallo y no se repitió. 19 diseños fallaron así: 18 de Claude Opus 5.5 (17 propuestas cortadas en el límite y 1 conjunto de instrucciones de imagen roto) y 1 propuesta vacía de GPT-5.6 Terra.
• Falló el servicio del proveedor (límites de uso, errores del servidor, tiempos de espera agotados): se repitió. Pasó 8 veces, todas con Gemini 3.8 Flash.
• La propia recepción de FontVibe hizo primero una pregunta. Antes de que una solicitud llegue al diseñador, otro modelo fijo comprueba si falta algo. Con el encargo de la discoteca, a veces preguntó "¿casi invisible o legible desde 50 metros?" en lugar de pasar el encargo. Eso no es cosa del modelo probado, así que esas 4 ejecuciones se repitieron, y el diseño que se calificó es el de la repetición. Todos los intentos figuran en el conjunto de datos abierto.

Los 287 diseños (269 de las ejecuciones principales y 18 de las repeticiones de Opus que se describen más abajo) se generaron el 30 de octubre de 2026 en el sitio de producción de FontVibe con una cuenta oficial, y son públicos en FontVibe.

Calificación

Cada diseño se calificó con el estándar de calificación de pruebas de FontVibe, escrito antes de contar los resultados. Se basa en la rúbrica de mi prueba de siete herramientas de diseño con IA y de las dos pruebas de modelos de imagen. El juez hace de cliente que escribió el encargo y juzga en este orden: si es lo que pedí; si puedo usarlo sin arreglar nada; si transmite lo que quería; si los detalles están bien hechos; si me hace decir "wow" a primera vista.

La nota total se calcula, no se juzga: 0.20 × legibilidad + 0.35 × letras + 0.25 × información y composición + 0.20 × atractivo.

Una regla decidió muchas notas, así que aquí va completa. La pregunta para cada línea de texto era: ¿tendría el cliente que cambiar esto antes de usarlo, y lo dijo alguna vez el cliente? Repetir lo que el encargo ya dice ("COFFEE ROASTERS" para una tostaduría de café) y los saludos comunes ("Happy birthday") se aceptaban. Cada dato, cifra, promesa o eslogan que el cliente nunca dio restaba, porque el cliente tendría que borrarlo o publicaría algo falso sin darse cuenta. Los marcadores de posición impresos tal cual, como {{fecha}}, y los cambios en cómo el cliente escribió algo, como que "7 de la noche" se convirtiera en "7:00 p. m.", también restaban.

Quién calificó. Las notas vienen de jueces de IA que funcionan con Claude Opus 5.5, un juez por cada grupo de tres encargos, y cada uno miró todas las imágenes originales de un encargo antes de calificar ninguna. Las imágenes tenían IDs aleatorios, y los jueces no sabían qué modelo hizo cada diseño. Uno de los ocho modelos probados, Claude Opus 5.5, es el mismo modelo que los jueces. Tenlo en cuenta al leer sus notas: no se comprobó si los jueces favorecen los diseños del propio Opus. La elección a ciegas de una persona es la única comprobación humana de esta prueba.

Encargo por encargo

Cada cuadrícula muestra el primer diseño que terminó cada modelo, así que ningún diseño se eligió a mano. El pie da la nota de ese diseño y el promedio del modelo en sus tres ejecuciones de ese encargo.

Capa 1: Pedidos cotidianos

Encargo 1: Logotipo tipográfico para una tostaduría de café

A logo-style title for my new coffee roastery called EMBER & OAK

Usar como referencia

Usar como referencia

Usar como referencia

Usar como referencia

Usar como referencia

Usar como referencia

Usar como referencia

Usar como referencia

Claude Opus 5.5 sacó la nota más alta, 8.38 de promedio: quemó el nombre en madera, con los bordes de cada letra chamuscados. GPT-5.6 Terra (8.13) y GPT-6 Luna (8.05) quedaron muy cerca. GPT-6.1 Terra (6.62) y GPT-6.1 Sol (6.43) compusieron el nombre en una letra limpia pero corriente, que el juez marcó como solo en parte acorde con el "ember and oak" (brasa y roble) del encargo. El diseño de Claude Sonnet 5.5 se inventó un año de fundación y una ciudad, "EST. 2019" y "AUSTIN", que el cliente nunca dio.

Encargo 2: Póster de cumpleaños con dinosaurios

给我做一张生日海报，寿星叫小雨，今年 8 岁，喜欢恐龙 (Un póster de cumpleaños: la cumpleañera se llama Xiaoyu, cumple 8 años y le encantan los dinosaurios.)

Usar como referencia

Usar como referencia

Usar como referencia

Usar como referencia

Usar como referencia

Usar como referencia

Usar como referencia

Usar como referencia

Aquí les fue mejor a los modelos de OpenAI. GPT-6.1 Sol sacó 8.73, y GPT-6.1 Terra 8.43, su mejor encargo, con una cola de dinosaurio que sale del carácter 雨 del nombre de Xiaoyu. Gemini 4 Argon quedó último, 6.48: una selva fotorrealista y una fiesta "Jurassic Expedition · Level 8" que el cliente nunca mencionó, y que el juez marcó como solo en parte acorde con el cumpleaños de una niña de ocho años. Para letras de globo como las de GPT-6.1 Sol, mira el generador de letras de burbuja. El primer diseño de Gemini 3.8 Flash se inventó una fecha, una hora y un lugar para una fiesta que no existe, y la fecha ya había pasado.

Encargo 3: Póster de fiesta de graduación

Un cartel para la fiesta de graduación de secundaria, dice PROMOCIÓN 2026

Usar como referencia

Usar como referencia

Usar como referencia

Usar como referencia

Usar como referencia

Usar como referencia

Usar como referencia

Usar como referencia

Todos los modelos escribieron PROMOCIÓN con su tilde. Gemini 4 Argon (8.40) y Gemini 3.8 Flash (8.28) sacaron las notas más altas con letras doradas y laureles, aunque uno de los diseños de Argon añadió un código de vestimenta formal, y dos diseños de este encargo mostraban copas de champán en una fiesta escolar. Este encargo no tenía fecha ni lugar, y muchos diseños dejaron un espacio vacío abajo, donde irían esos datos, o imprimieron ahí marcadores de posición como {{fecha}}.

Capa 2: Que la información sea correcta

Encargo 4: Miniatura de YouTube

YouTube thumbnail text for a video about losing 30 pounds, title THE SHIFT

Usar como referencia

Usar como referencia

Usar como referencia

Usar como referencia

Usar como referencia

Usar como referencia

Usar como referencia

Usar como referencia

Claude Sonnet 5.5 sacó la nota más alta, 8.20, contrastando un "THE" de arcilla con un "SHIFT" de acabado espejo para mostrar el cambio. GPT-6 Luna sacó 7.97. Claude Opus 5.5 quedó último, 6.53: su primer diseño desplazó las mitades de cada letra, lo que parece un error de impresión. Gemini 4 Argon y Gemini 3.8 Flash llenaron el fondo de eslóganes de gimnasio que el cliente nunca escribió.

Encargo 5: Póster de empleo con siete datos

招聘海报：标题「一起把账算明白」，副标题「马来西亚 AI 公司，招两位财务」，要写上公司名 Northwind Labs Sdn Bhd、月薪 RM6000-9000、地点吉隆坡 Bangsar、投递邮箱 jobs@northwindlabs.my、截止 10 月 15 日。标题最大，邮箱最小。 (Un póster de empleo con título, subtítulo, nombre de la empresa, salario, ubicación, correo electrónico y fecha límite. El título, lo más grande; el correo, lo más pequeño.)

Usar como referencia

Usar como referencia

Usar como referencia

Usar como referencia

Usar como referencia

Usar como referencia

Usar como referencia

Usar como referencia

Este encargo separó a los modelos con más claridad que ningún otro. Claude Sonnet 5.5 sacó 7.92 con un diseño de papel de libro contable y un sello rojo que mantuvo los siete datos y el orden de tamaños. Gemini 3.8 Flash sacó la nota más baja, 6.12: su primer diseño llenó el póster de eslóganes en inglés, un logo y paneles de cifras inventadas, y cambió el subtítulo del cliente. Claude Opus 5.5 falló las tres ejecuciones en el límite de tokens de producción; con el límite duplicado hizo el mejor diseño del encargo, 8.95, con un título parecido de tinta sobre papel, un sello y una pluma estilográfica.

Encargo 6: Funda para vaso de café

Uma capa para o copo de café para viagem da minha cafeteria em Belo Horizonte, a Grão de Ouro. Tem que ter o slogan "Café de verdade, sem pressa" e "Desde 1998". (Una funda para los vasos para llevar de mi cafetería, con el nombre, el eslogan y "desde 1998".)

Usar como referencia

Usar como referencia

Usar como referencia

Usar como referencia

Usar como referencia

Usar como referencia

Usar como referencia

Usar como referencia

Claude Opus 5.5 sacó 8.97 en las dos ejecuciones que terminó, con letras serif en lámina dorada y una O en forma de grano de café. Le siguieron GPT-5.6 Terra (8.30) y Claude Sonnet 5.5 (8.38). El primer diseño de Gemini 3.8 Flash dibujó mal la virgulilla de GRÃO, así que el nombre se lee más bien como "GRÁO". Gemini 4 Argon añadió afirmaciones como "100% ARÁBICA" que la cafetería nunca hizo. Si solo quieres letras en lámina dorada, prueba el generador de texto dorado.

Capa 3: Criterio de diseño

Encargo 7: Un logotipo de discoteca con requisitos contradictorios

I want an extremely minimal, quiet, almost invisible wordmark for my nightclub — but it also has to scream across a dark street from 50 metres away and feel expensive. The name is VOID.

Usar como referencia

Usar como referencia

Usar como referencia

Usar como referencia

Usar como referencia

Usar como referencia

Usar como referencia

Usar como referencia

Los diseños más sólidos resolvieron la contradicción con retroiluminación: letras negras sobre una pared negra que desaparecen de cerca y brillan de noche. Gemini 4 Argon (8.13), Gemini 3.8 Flash (8.05) y Claude Opus 5.5 (7.88) lo hicieron mejor. GPT-6.1 Terra quedó último, 5.48: su primer diseño es una letra blanca en negrita, plana, sobre negro, que grita pero no es ni discreta ni lujosa. GPT-5.6 Terra sacó 5.90. Para letreros iluminados, el creador de letreros para tiendas parte de letreros de tienda luminosos.

Encargo 8: Portada de revista científica

Cover art for a peer-reviewed paper on cryo-EM structural determination of amyloid fibrils. Title: CONFORMATIONAL POLYMORPHISM. It has to look like it belongs on the cover of Nature, not like a startup pitch deck.

Usar como referencia

Usar como referencia

Usar como referencia

Usar como referencia

Usar como referencia

Usar como referencia

Usar como referencia

Usar como referencia

GPT-6.1 Sol (7.65), GPT-5.6 Terra (7.47) y GPT-6 Luna (7.43) sacaron las notas más altas con títulos serif sobrios y fibrillas de aspecto vítreo. Varios diseños dibujaron las fibrillas como una doble hélice en forma de escalera, que parece ADN, un error científico en una portada sobre amiloide. Claude Sonnet 5.5 se inventó un volumen, un número y una fecha. Claude Opus 5.5 falló las tres ejecuciones en el límite de producción.

Encargo 9: Letrero de estudio de tatuajes para dos públicos

A shop sign for my tattoo studio called INKWELL. It should still feel welcoming to my grandmother's generation.

Usar como referencia

Usar como referencia

Usar como referencia

Usar como referencia

Usar como referencia

Usar como referencia

Usar como referencia

Usar como referencia

En este encargo había texto inventado por todas partes: lemas, listas de servicios, "Walk-ins welcome" y dos años de fundación inventados. Claude Opus 5.5 sacó la nota más alta, 8.25, y GPT-6 Luna 7.95. Gemini 4 Argon quedó último, 6.37: su primer diseño usó una I mayúscula decorativa que se lee como J, así que el nombre parece "JNKWELL". Los diseños que imprimieron solo el nombre y "Tattoo Studio" eran exactos pero a menudo simples.

Capa 4: Idioma y cultura

Encargo 10: Letrero japonés de un puesto de hielo raspado

夏祭りの屋台の看板を作ってください。「かき氷」と書いて、昭和レトロな駄菓子屋の雰囲気で。提灯の灯りみたいな温かさがほしい。 (Un letrero de puesto para un festival de verano que diga かき氷, con el ambiente de una tienda de golosinas retro de la era Showa y la calidez de la luz de los farolillos.)

Usar como referencia

Usar como referencia

Usar como referencia

Usar como referencia

Usar como referencia

Usar como referencia

Usar como referencia

Usar como referencia

Todos los modelos escribieron bien かき氷. Claude Opus 5.5 (8.55), Gemini 4 Argon (8.38) y GPT-5.6 Terra (8.27) sacaron las notas más altas con estandartes de tela teñida y letreros esmaltados. La mayoría de los diseños añadió una frase corta como "ひんやり" (fresquito) o una lista de sabores de jarabe, lo que les restó. Dos diseños imprimieron {{price}} y uno se inventó un precio.

Encargo 11: Letrero de inauguración de una panadería alemana

Ein Schild für die Neueröffnung unserer Bäckerei „Großmanns Backstube" in Leipzig. Öffnungszeiten: Mo–Sa 6:30–18 Uhr, So 7–12 Uhr. Gemütlich, aber nicht kitschig. (Un letrero de inauguración para nuestra panadería con su nombre y su horario. Acogedor, pero no cursi.)

Usar como referencia

Usar como referencia

Usar como referencia

Usar como referencia

Usar como referencia

Usar como referencia

Usar como referencia

Usar como referencia

Todos los modelos escribieron Großmanns con su ß. Claude Sonnet 5.5 sacó la nota más alta, 8.03, con letras desgastadas y perfiladas sobre madera. GPT-6.1 Terra (6.32) y GPT-6.1 Sol (6.62) compusieron el letrero en una letra digital plana, sin calidez. Los tres diseños de Claude Sonnet 5.5 añadieron eslóganes que la panadería nunca escribió, como "Frisch gebacken seit dem ersten Morgen" (recién horneado desde la primera mañana), y también los de Gemini 3.8 Flash. Claude Opus 5.5 falló las tres ejecuciones en el límite de producción.

Encargo 12: Invitación de Día de Muertos

Invitación para la reunión familiar de Día de Muertos en casa de la abuela Rosa. Domingo 1 de noviembre de 2026, 7 de la noche, Calle Hidalgo 45, Oaxaca. Algo cálido y respetuoso, no de disfraz.

Usar como referencia

Usar como referencia

Usar como referencia

Usar como referencia

Usar como referencia

Usar como referencia

Usar como referencia

Usar como referencia

Ningún diseño convirtió la reunión en una fiesta de disfraces de Halloween, y todos mantuvieron la fecha y la dirección. Casi todos cambiaron "7 de la noche" por "7:00 p. m.". GPT-5.6 Terra sacó la nota más alta, 8.22. En varios diseños apareció un problema más sutil: el retrato de una mujer mayor en el centro del altar, justo al lado de "abuela Rosa", lo que se lee como si la propia Rosa hubiera muerto. Claude Opus 5.5 falló las tres ejecuciones en el límite de producción.

Claude Opus 5.5 con más presupuesto

FontVibe limita una propuesta de diseño a 6,600 tokens de salida, razonamiento incluido. Claude Opus 5.5 escribió propuestas más largas que cualquier otro modelo. Sus propuestas llegaron a ese límite en 19 de sus 36 ejecuciones: 17 se cortaron y fallaron, y 2 aun así se terminaron. Otra ejecución falló por una razón distinta: la propuesta estaba por debajo del límite, pero las instrucciones de imagen del segundo paso volvieron como una salida rota. Entre los demás modelos, solo una propuesta de GPT-6 Luna llegó al límite, y se terminó.

Para ver qué hace Opus cuando no lo cortan, repetí solo sus 18 ejecuciones fallidas con los dos límites de salida duplicados y nada más cambiado. Las 18 se terminaron. 13 de ellas usaron más de 6,600 tokens para la propuesta (mediana 7,286, la más larga 8,890), y la propuesta mediana tardó 76 segundos. Los 18 diseños sacaron 8.10, y los 36 diseños de Opus juntos sacaron 8.04 (IC 95% 7.70–8.30). Comparados encargo por encargo con los demás modelos en los 12 encargos, esos 36 diseños sacaron claramente más nota que GPT-5.6 Terra (+0.46), Claude Sonnet 5.5 (+0.60), GPT-6.1 Sol (+0.68), Gemini 3.8 Flash (+0.71) y GPT-6.1 Terra (+0.96), y no se pudieron distinguir de GPT-6 Luna (+0.35, IC 95% −0.06 a +0.71) ni de Gemini 4 Argon (+0.48, −0.05 a +0.98).

Estas repeticiones no están en la clasificación principal, porque ningún otro modelo recibió un presupuesto mayor. El límite de 6,600 tokens es uno que FontVibe fijó para su propio uso en producción, no un límite del modelo. Las repeticiones muestran que, con presupuesto suficiente, Opus termina siempre y su calidad se mantiene, a cambio de un costo mayor y una espera más larga. Su promedio en la tabla principal sale de 18 diseños en 8 encargos, y la mayoría de los encargos en los que falló eran los de las capas 2 a 4, con más texto que planificar, así que ese promedio se apoya en los encargos más fáciles; por eso no entra en la clasificación de esa tabla.

Una elección a ciegas de alguien que no era el cliente

El fundador de FontVibe miró un diseño por modelo de cada encargo, en orden aleatorio y con los nombres ocultos, y eligió el que usaría. Sus 12 elecciones: Gemini 3.8 Flash 4, Claude Sonnet 5.5 3, GPT-5.6 Terra 2, Gemini 4 Argon 2 y Claude Opus 5.5 1. Nunca eligió GPT-6 Luna ni ninguno de los dos modelos GPT-6.1.

Entre los ocho diseños que vio de cada encargo, su elección fue el mejor calificado por los jueces en 2 de 12 encargos; nunca fue el diseño mejor calificado del encargo en general. La diferencia tiene un origen claro: 8 de sus 12 elecciones contienen texto que el encargo nunca dio. En letras y atractivo, sus elecciones sacaron de 7 a 9 casi siempre, lo que muestra que los jueces también vieron esos diseños como visualmente fuertes; las elecciones perdieron sus puntos en información.

Él interpreta la diferencia así: no era el cliente de ninguno de estos encargos, así que eligió por la primera impresión. Un cliente que necesita el diseño mira primero lo que transmite, luego los detalles, y trata el texto equivocado o inventado como un error grave. Por eso las notas de la rúbrica son las que deciden la clasificación, y esta elección es una nota al margen. También muestra el riesgo para quien elige por la primera impresión: el diseño que primero te llama la atención suele ser el que añadió texto que tú no escribiste.

Cada modelo, en breve

• Claude Opus 5.5: las mejores letras y el mejor atractivo, y pocas líneas inventadas (0.22 por diseño). Las propuestas más largas y el razonamiento más largo, así que necesita un límite de salida más amplio que el de producción de FontVibe; el más lento y, con mucha diferencia, el más caro. Encaja con trabajos complejos que no tienen prisa.
• GPT-6 Luna: la mejor relación calidad-precio: en el grupo de calidad más alto, terminó todas las ejecuciones, alta legibilidad, pocas líneas inventadas y el más barato por un amplio margen. Sus letras son buenas, pero no memorables.
• GPT-5.6 Terra: rápido y equilibrado. Fuerte en la capa 4 y en la mayoría de los encargos cotidianos, y más flojo en la capa 3, donde a menudo respondió a un encargo difícil con letra simple.
• Gemini 4 Argon: algunos de los materiales más trabajados de la prueba, y 1.56 líneas inventadas por diseño.
• Claude Sonnet 5.5: las propuestas más rápidas y letras sólidas, y el que más marcadores de posición imprimió tal cual (5 diseños).
• GPT-6.1 Sol: los diseños más legibles y pocas líneas inventadas, pero letras simples, y lento en los dos pasos (unos 87 segundos en total).
• Gemini 3.8 Flash: visualmente fuerte, el que más texto inventó (2.36 líneas por diseño) y el único modelo con errores del proveedor (8).
• GPT-6.1 Terra: el texto más limpio y los diseños más simples.

Límites de esta prueba

• Los jueces funcionan con Claude Opus 5.5, que también es uno de los modelos probados. Las imágenes eran anónimas, pero los jueces y uno de los participantes comparten modelo, y no se comprobó si favorecen sus diseños.
• Cada encargo se calificó una sola vez, por un juez en una sola pasada. No hubo calificación repetida ni un segundo juez.
• La nota principal de Claude Opus 5.5 sale de 18 diseños en 8 encargos, sobre todo los más fáciles.
• Un solo modelo de imagen renderizó todos los diseños. Otro modelo de imagen podría cambiar cuánto importan las instrucciones del diseñador.
• Cada modelo ejecutó cada encargo tres veces, y cada ejecución renderizó solo la primera de sus tres direcciones propuestas. Con 12 encargos, la mayoría de las diferencias entre modelos son demasiado pequeñas para distinguirlas; se compararon 28 pares sin corrección por comparaciones múltiples.
• El estándar de calificación cubre diseños con texto. No se probaron imágenes sin texto.
• Todos los modelos usaron los prompts y límites de producción de FontVibe. Los prompts o límites de otra aplicación podrían favorecer a otros modelos.
• Los resultados describen estas versiones de los modelos el 30 de octubre de 2026.

Todos los diseños son públicos en FontVibe y cada nota tiene una razón escrita. Los encargos, todas las propuestas, las instrucciones para el modelo de imagen, las notas y las razones están en el conjunto de datos abierto AI Design Benchmark (CC BY 4.0), con todos los intentos y un script que recalcula todas las tablas de este artículo. Los prompts de producción de FontVibe no se publican; los investigadores que los necesiten pueden pedirlos en hello@fontvibe.ai.

Apéndice: todas las notas

Nota total promedio por modelo y encargo en las ejecuciones que se terminaron (número de ejecuciones terminadas entre paréntesis cuando son menos de 3).

Todas las comparaciones por pares

Cada par se compara en los encargos en los que los dos modelos terminaron diseños: la diferencia promedio de sus notas por encargo (primer modelo menos segundo), con un intervalo de confianza del 95%. Cuando el intervalo incluye el cero, los dos no se pueden distinguir en esta prueba.

El estándar de calificación

Las instrucciones de los jueces, en resumen: eres el cliente que escribió el encargo y que va a usar este diseño. Juzga en este orden: si es lo que pediste; si cada texto se puede usar tal cual; si transmite lo que querías, dicho o razonablemente implícito; qué tan bien están hechos las letras, los materiales, las texturas, las líneas y los colores; y si impresiona a primera vista. Cada una de las cuatro notas cubre su propia pregunta, y un problema se descuenta solo una vez, en la nota a la que corresponde.