Calculadora de modelo a flota con TibiOS

Todos los precios en dólares estadounidenses (USD). Estimaciones solo para inferencia, con un margen aproximado del ±10%. La caché KV usa la arquitectura de atención publicada de cada modelo grande (latentes MLA, bloques de atención lineal, ventanas deslizantes) y una regla por clase de tamaño para el resto. Tok/s por usuario: bytes leídos por token entre ancho de banda de memoria, más un coste fijo por bloque transformer (0,1 ms, ajustado a medidas públicas de llama.cpp y MLX en RTX 5090 / PRO 6000 / 4090, DGX Spark y M3 Ultra: 28 de 35 cifras publicadas quedan dentro del ±30 % y el resto dentro de un 2,5× documentado), más dos all-reduce por bloque en equipos multi-GPU (NVLink 0,05 ms, el punto medio de las ejecuciones TP8 publicadas en 8× H200, que van de 0,13 a 0,33 ms por bloque; PCIe 0,1 ms); cada cruce entre tus propias máquinas cuesta los 7 ms de ida y vuelta que TibiOS midió en su LAN cableada, y los cruces en la nube o entre servidores HGX el tiempo de vuelo en InfiniBand / EFA (0,1 ms) de un pipeline. El informe público de Kimi K3 en dos nodos de 8× H200 se queda en 16,8 tok/s porque reparte cada capa entre los 16 GPUs a través de la red; la página muestra esa cifra junto a la estimación. MoE en Metal queda dentro de 2× de la estimación. La fila agregada agrupa hasta 32 usuarios concurrentes, tantos como cachés KV quepan en la memoria que sobra tras los pesos, y está limitada por el cómputo de la GPU; un servidor real queda por debajo. El coste por token usa precios bajo demanda (AWS us-east-1 tras la bajada de junio de 2025, RunPod Secure Cloud tras la subida de septiembre de 2026) o la compra de tus propias máquinas (Macs a precio de lista de Apple, equipos NVIDIA al precio más bajo encontrado en tiendas online en 2026-10) amortizada a 36 meses, sin electricidad. La fila mensual bajo demanda asume 12 horas al día; la fila de savings plan factura todas las horas con el 37 % de descuento que AWS publica para un EC2 Instance Savings Plan de 1 año. La referencia de API es el precio de lista serverless de Fireworks.ai para la misma clase de modelo. Precios aproximados, a fecha de 2026-10.

(Medido en la flota TibiOS (2026-10-02): DiffusionGemma 26B-A4B en dos Mac mini (M4 + M2 Pro) por LAN: 12,8 tok/s por usuario, 19,2 tok/s agregados con 3 usuarios concurrentes, TTFT de 0,9 a 4 s, cero swap. Todas las demás cifras de esta página son estimaciones.)

Fuentes contrastadas el 2026-10-09:AWS EC2 pricing · RunPod pricing · Fireworks pricing · Apple Mac Studio · Tom's Hardware RAM index · DDR5 RDIMM $/GB · H200 server price · llama.cpp on DGX Spark · KTransformers · Kimi K2.5 on EPYC DDR5 · AMD EPYC 9005