Leaderboards de energía de LLM: cómo comparar modelos por Wh/token y elegir por eficiencia

Notación: importes en euros (N €), decimales con coma. No se usa el símbolo de dólar (en este sitio es delimitador de fórmula). Hardware de ejemplo genérico; sin infra real.

TL;DR

Existen tres leaderboards OSS con datos públicos y metodología documentada para comparar la eficiencia energética de LLMs en inferencia: Hugging Face AI Energy Score (166 modelos, Wh/query sobre H100, escala de 1–5 estrellas, lanzado febrero 2025), ML.ENERGY Leaderboard v3 (Universidad de Michigan, J/token por tarea, herramienta Zeus, diciembre 2025) y MLPerf Power (samples/joule certificado con vatímetro físico Yokogawa WT310E). Los tres miden dimensiones distintas y no son directamente intercambiables. Los datos disponibles muestran que los modelos razonadores consumen hasta 700× más energía que sus equivalentes sin razonamiento; que los modelos MoE consumen aprox. 3× menos J/token que un denso de parámetros activos equivalentes; y que la cuantización INT4 reduce el consumo hasta un 79 % respecto a FP16 en condiciones favorables. El motor de inferencia (vLLM vs Transformers) puede mover el resultado otro 25–40 %. Sin fijar hardware, motor, batch size y tarea, ninguna comparativa entre leaderboards es válida.

Contexto del track

Este artículo es el C5 del pilar de energía. El contexto base:

• C1 — Estado del arte: benchmarking de energía de frameworks LLM
• C2 — Energía por token: metodología
• C3 — Herramientas de medición en deploy
• C4 — MLPerf Power

Los fundamentos de cuantización son un requisito previo para la sección de cuantización de este artículo.

Los tres leaderboards: ficha técnica

1 · Hugging Face AI Energy Score

Alcance de la métrica. El AI Energy Score mide exclusivamente la energía de la GPU (CodeCarbon); no captura CPU, DRAM ni overhead del sistema. La unidad Wh/1k-queries incluye todo el tiempo de ejecución (prefill + decode + overhead del framework), pero a batch = 1. Los resultados son, por tanto, comparables entre modelos bajo las mismas condiciones de test, pero no extrapolables a un entorno de producción con concurrencia real sin corrección.

Clase de modelo (clasificación interna del proyecto):

2 · ML.ENERGY Leaderboard

Zeus como herramienta. Zeus es el motor de medición del ML.ENERGY Leaderboard y también un paquete independiente (pip install zeus-ml). Soporta NVIDIA GPU (NVML), AMD GPU (ROCm), CPU (RAPL), DRAM (RAPL), Apple Silicon y NVIDIA Jetson. El ZeusMonitor añade overhead de medición en single-digit milisegundos. Desde mayo 2025 es proyecto del ecosistema PyTorch. Licencia MIT.

3 · MLPerf Power

La ficha completa está en el artículo C4. Resumen de los puntos relevantes para comparar con los anteriores:

Comparativa de los tres leaderboards

Incompatibilidad entre leaderboards. Los tres miden dimensiones distintas: Wh/query ≠ J/token ≠ samples/J nodo. Una comparativa directa exige convertir unidades y asumir que el hardware, el motor y la tarea son equivalentes —lo que rara vez se cumple entre leaderboards—.

Cómo se mide y normaliza la energía por token

La identidad base se desarrolla en el artículo C2:

$$E_{\text{token}} ,[\text{J/tok}] = \frac{\bar{P} ,[\text{W}]}{\text{throughput} ,[\text{tok/s}]}$$

Para comparar modelos entre sí, todos los factores distintos del modelo deben estar fijos:

Fórmula de conversión Wh/query ↔ J/token:

$$E_{\text{J/tok}} = \frac{E_{\text{Wh/query}} \times 3600}{\bar{n}_{\text{tokens/query}}}$$

Ejemplo: si un modelo consume 0,05 Wh/query (= 180 J/query) y genera una media de 200 tokens por query:

$$E_{\text{J/tok}} = \frac{0{,}05 \times 3600}{200} = \frac{180}{200} = 0{,}9 ,\text{J/tok}$$

Datos del AI Energy Score: ejemplos concretos

Los datos de v2 (diciembre 2025, hardware H100, batch = 1, tarea de generación de texto con razonamiento activado/desactivado):

Fuente: Hugging Face AI Energy Score v2 (dic. 2025).

Multiplicador del razonamiento. El aumento de energía al activar el razonamiento va de ×154 (DeepSeek-R1-Distill-Llama-70B) a ×697 (SmolLM3-3B). La causa directa: los modelos razonadores generan entre 300 y 800 veces más tokens que sus equivalentes sin razonamiento (cadenas de pensamiento internas). La media del corpus v2 es ×30 de energía adicional por razonamiento.

Nuevos modelos no son siempre más eficientes. De los 14 modelos comparables (sin razonamiento, sin MoE, tamaño similar) entre la cohorte de feb. 2025 y dic. 2025: 8 de 14 tenían igual o mayor energía. El rango va desde el 3 % de la energía del modelo de referencia hasta casi 2×. La escala de parámetros ya no es suficiente para estimar la eficiencia.

Datos del ML.ENERGY Leaderboard: J/token por familia

Los datos del paper arXiv 2505.06371 y del leaderboard v3 (hardware A100/H100, vLLM como motor de referencia):

Escala dentro de una familia (Llama 3):

La sublinealidad (70× params → 7,3× energía, no 70×) refleja que la energía en inferencia está dominada por el ancho de banda de memoria (memory-bandwidth bound), no por los FLOPs en bruto.

Denso vs MoE:

El MoE activa solo 2 de 8 expertos por token. Mixtral 8×7B consume aproximadamente ⅓ de los J/token de un modelo denso de 8B activos con calidad comparable a un modelo denso de mayor escala. El overhead de routing y de carga de todos los expertos en memoria contrarresta parte de la ganancia teórica.

Efecto de la tarea (ML.ENERGY v3, mismo modelo):

El razonamiento usa ~10× más tokens por respuesta y la memoria adicional de la cadena de pensamiento reduce el batch size efectivo, aumentando la energía por token por presión de memoria.

Efecto de la cuantización sobre la energía por token

Datos de hardware NVIDIA H100, Llama 3 familia (arXiv 2508.16712 y arXiv 2504.03360):

Advertencia. En GPUs sin soporte hardware nativo de INT4 (o con kernels de dequantización subóptimos), la cuantización puede aumentar la latencia y la energía por token en vez de reducirla, debido al overhead de dequantización en tiempo de ejecución. El beneficio de la cuantización es real en H100/A100 con TensorRT-LLM o llama.cpp bien configurado, pero no garantizado con cualquier motor.

Cuantización y throughput: la reducción de memoria por modelo libera VRAM, lo que permite batch sizes mayores. A batch mayor, el throughput sube más que la potencia, reduciendo aún más el J/token. El efecto neto puede superar la reducción directa de energía por operación.

Efecto del motor de inferencia

El motor es una variable que los leaderboards de nivel de modelo tienden a fijar pero que en producción es una decisión propia. Datos de comparativas publicadas (vLLM, TensorRT-LLM, Transformers Naive, A100):

Cambiar de Transformers naive a TensorRT-LLM puede reducir la energía por token más que pasar de un modelo de 70B a uno de 8B del mismo origen. La elección del motor es una palanca de eficiencia energética de primer orden.

Límites de los leaderboards de energía

Tabla de decisión: elegir modelo por eficiencia energética

Los criterios de selección en orden, sin prosa de recomendación:

Tabla de señales rápidas:

Datos de referencia: energía en un nodo genérico (4×H100 SXM)

Hardware de ejemplo genérico para anclar los valores de leaderboard a un nodo real:

Los valores J/token son orientativos y dependen fuertemente del batch size, longitud del prompt, ratio prefill/decode y versión del motor. Para valores certificados, consultar las submissions de MLPerf Power (mlcommons.org).

Para el nodo de referencia alternativo (4×A100 PCIe 80 GB, TDP ~300 W c/u):

Cómo usar los leaderboards en la práctica

Flujo de decisión basado en datos públicos disponibles:

Ver también

• C1 — Benchmarking de energía de frameworks LLM: estado del arte
• C2 — Energía por token: metodología y mercado eléctrico
• C3 — Herramientas de medición en deploy: precisión y overhead
• C4 — MLPerf Power: el benchmark estándar certificado
• Fundamentos de cuantización para inferencia

Fuentes

• Hugging Face · AI Energy Score · organización y leaderboard — https://huggingface.co/AIEnergyScore
• Hugging Face · Announcing AI Energy Score Ratings (Luccioni et al., feb. 2025) — https://huggingface.co/blog/sasha/announcing-ai-energy-score
• Hugging Face · AI Energy Score v2: Refreshed Leaderboard, now with Reasoning (Luccioni, Gamazaychikov, dic. 2025) — https://huggingface.co/blog/sasha/ai-energy-score-v2
• Hugging Face · AIEnergyScore GitHub (Apache 2.0) — https://github.com/huggingface/AIEnergyScore
• ML.ENERGY Initiative · Leaderboard — https://ml.energy/leaderboard
• ML.ENERGY Initiative · Blog: Diagnosing Inference Energy Consumption with the ML.ENERGY Leaderboard v3.0 (dic. 2025) — https://ml.energy/blog/measurement/energy/diagnosing-inference-energy-consumption-with-the-mlenergy-leaderboard-v30/
• arXiv 2505.06371 · The ML.ENERGY Benchmark: Toward Automated Inference Energy Measurement and Optimization (Chung et al., NeurIPS 2025 D&B Spotlight) — https://arxiv.org/abs/2505.06371
• ML.ENERGY Initiative · Zeus: Deep Learning Energy Measurement and Optimization — https://ml.energy/zeus/
• GitHub ml-energy/zeus (MIT) — https://github.com/ml-energy/zeus
• PyTorch Blog · Zeus: Deep Learning Energy Measurement and Optimization — https://pytorch.org/blog/zeus/
• University of Michigan CSE · Power-hungry AI: Researchers evaluate energy consumption across models — https://cse.engin.umich.edu/stories/power-hungry-ai-researchers-evaluate-energy-consumption-across-models
• arXiv 2512.03024 · TokenPowerBench: Benchmarking the Power Consumption of LLM Inference (dic. 2024) — https://arxiv.org/abs/2512.03024
• arXiv 2508.16712 · Systematic Characterization of LLM Quantization: A Performance, Energy, and Quality Perspective — https://arxiv.org/abs/2508.16712
• arXiv 2504.03360 · Sustainable LLM Inference for Edge AI: Evaluating Quantized LLMs for Energy Efficiency, Output Accuracy, and Inference Latency — https://arxiv.org/abs/2504.03360
• Epoch AI · AI Energy Use: Data & Research — https://epoch.ai/topics/energy
• MLCommons · MLPerf Inference Datacenter benchmark results — https://mlcommons.org/benchmarks/inference-datacenter/
• arXiv 2410.12032 · MLPerf Power: Benchmarking the Energy Efficiency of Machine Learning Systems (Tschand et al., 2024) — https://arxiv.org/abs/2410.12032
• Coalition for Sustainable AI · AI Energy Score as best practice in benchmarking — https://www.sustainableaicoalition.org/ai-energy-score-a-standardized-approach-to-evaluating-ai-model-energy-efficiency/