Benchmark de eficiencia de tokens

Metodología de conteo

El benchmark mide la cantidad de tokens que consume cada formato al representar exactamente los mismos datos psicométricos. El conteo se hace con el tokenizador cl100k_base de OpenAI (usado por GPT-4 y GPT-4o), que es el estándar de facto para evaluar eficiencia en contextos de LLM.

Algoritmo paso a paso

1. Se toma un cuestionario de referencia con 12 ítems de opción múltiple, parámetros IRT (a, b, c) y metadatos CAT completos.
2. El mismo cuestionario se serializa en cada formato: JSON, MINI, TOON, YAML y XML, sin omitir ningún campo.
3. Cada representación se pasa por tiktoken con el encoding cl100k_base para obtener el conteo exacto de tokens.
4. Se calcula el ratio de reducción de cada formato respecto a JSON (la línea base), usando la fórmula: ratio = (json_tokens - format_tokens) / json_tokens × 100.
5. Los resultados se grafican en el componente embebido de abajo, que ejecuta el mismo cálculo en el navegador usando la librería Chart.js 4.4.1.

Herramientas usadas

• tiktoken — tokenizador oficial de OpenAI (github.com/openai/tiktoken)
• cl100k_base — encoding de GPT-4 / GPT-4o / text-embedding-3
• Chart.js 4.4.1 — visualización en el navegador

Texto probado — cuestionario de referencia

El mismo cuestionario APA 7ma edición con 12 ítems, parámetros IRT 3PL y configuración CAT completa. Este es el dato exacto que se serializa en cada formato para el conteo.

Descripción del dataset

• Tema: Norma APA 7ma edición
• 12 ítems de opción múltiple (4 opciones cada uno)
• Niveles Bloom: L1 a L5
• Parámetros IRT 3PL por ítem: discriminación (a), dificultad (b), pseudo-azar (c)
• Metadatos CAT: área de contenido, exposure cap, demanda cognitiva
• Configuración global CAT: theta_init, theta_min, theta_max, se_stop, max_items, exposure_control

Representación en MINI (formato más eficiente)

a|m=IRT3PL|d=20260504|n=12|l=es|t=Norma APA 7ma edición|bd=2,3,2,2,2,1|cat=0,-3,3,0.3,12,SH
i1|L1|Portada|En la portada de un trabajo estudiantil según APA 7ma ed., ¿cuál de los siguientes elementos NO debe aparecer?|Nombre del autor,Nombre del curso,Nombre de la institución,Fecha*|0.9,-1.4,0.25|1|Estructura,0.2,low
i2|L1|Resumen|Según APA 7ma edición, el resumen debe tener como máximo ____ palabras.|250*,150,100,300|0.9,-1.1,0.25|1|Resumen,0.2,low
i3|L2|Palabras_clave|¿Cómo se escriben correctamente las palabras clave en formato APA 7ma edición?|En mayúsculas y entre comillas,Solo la primera en mayúscula,En minúsculas separadas por comas*,En negrita y centradas|1.1,-0.4,0.25|2|Resumen,0.2,medium
i4|L2|Niveles_título|¿Cuál es la diferencia entre el título de nivel 1 y el de nivel 2 en APA 7ma edición?|Ambos van centrados pero distinto tamaño,El nivel 1 va centrado en negrita y el nivel 2 alineado a la izquierda en negrita*,El nivel 1 va en cursiva y el nivel 2 en negrita,Solo el nivel 2 va en negrita|1.2,-0.3,0.25|2|Estructura,0.2,medium
i5|L2|Referencias|¿Cómo se ordena la lista de referencias en APA 7ma edición?|Por fecha de publicación de más reciente a más antigua,Por orden de aparición en el texto,Alfabéticamente por el apellido del primer autor*,Por tipo de fuente (libros, artículos, sitios web)|1.1,-0.2,0.25|2|Referencias,0.2,medium
i6|L3|Sangría_francesa|En la lista de referencias APA 7ma ed., la sangría francesa implica que ____.|la primera línea de cada referencia está sangrada y las siguientes van al margen,la primera línea va al margen y las siguientes están sangradas*,todas las líneas están igualmente sangradas,solo se aplica sangría cuando la referencia ocupa más de dos líneas|1.4,0.1,0.25|3|Referencias,0.2,medium
i7|L3|Paráfrasis|Un estudiante resume con sus propias palabras la idea de García (2021) en mitad de una oración. ¿Cuál es el formato de cita correcto?|García (2021) al inicio o (García, 2021) al final*,(García: 2021) entre paréntesis,García, 2021 sin paréntesis,"García [2021], p. 1 al final"|1.4,0.2,0.25|3|Citas,0.2,medium
i8|L3|Cita_directa_corta|Una cita directa de 38 palabras tomadas del autor García (2021) en la página 25 debe escribirse ____.|en un bloque separado con sangría de 1.27 cm,entre comillas en el párrafo con García (2021, p. 25) al final*,entre comillas y con el número de página solo en la bibliografía,en cursiva dentro del párrafo sin número de página|1.5,0.3,0.25|3|Citas,0.2,medium
i9|L4|Cita_bloque|Una cita directa de 55 palabras debe presentarse como bloque. ¿En qué se diferencia del formato de cita corta en cuanto al paréntesis de cierre?|El paréntesis va inmediatamente después de las comillas de cierre,El paréntesis va antes del punto final igual que en citas cortas,El paréntesis con autor, año y página va después del punto final*,No se incluye número de página en las citas de bloque|1.7,0.6,0.25|4|Citas,0.2,high
i10|L4|Norma_institucional|La docente afirma que el uso de APA 7ma edición es de carácter obligatorio en la institución. ¿Qué implica esto para los trabajos que usen una versión anterior?|Pueden usar APA 6ta con una nota aclaratoria,Se aceptan siempre que citen correctamente,No se aceptan porque la norma vigente institucional es APA 7ma*,Depende del criterio de cada docente|1.6,0.7,0.25|4|Normativa,0.2,high
i11|L5|Evaluación_citas|Un estudiante escribe: García (2021) afirmó "el aprendizaje activo mejora la retención de conocimientos en un 40 por ciento" y no incluye número de página. Según APA 7ma ed., ¿qué error cometió?|Omitió el número de página obligatorio en citas directas*,Usó la palabra afirmó en lugar de señaló,Debió poner el año entre corchetes en lugar de paréntesis,La cita debía ir en bloque por superar 40 palabras|1.9,1.1,0.25|5|Citas,0.15,high
i12|L5|Evaluación_formato|Especificar que cada elemento listado debe evaluarse como correcto/incorrecto según norma APA 7ma|Uno,Dos,Tres*,Cuatro|2.1,1.3,0.25|5|Normativa,0.15,high

Convenciones del formato MINI

• Primera línea: cabecera con a| seguida de pares clave=valor separados por |
• Cada ítem en una línea: id|bloom|tema|enunciado|opciones|irt|dificultad|meta_cat
• La opción correcta se marca con * al final del texto, sin campo separado
• Parámetros IRT como tripleta a,b,c en un solo campo
• Meta CAT como tripleta area,exposure_cap,demanda

Ventajas y desventajas reales por formato

Basadas en los resultados del benchmark con este dataset específico. No son afirmaciones genéricas — son consecuencias directas de cómo cada formato representa los mismos datos.

Resultados del benchmark

Conteo real de tokens con cl100k_base para el cuestionario de referencia descrito arriba.