IA local: qué ejecuta realmente tu máquina

Lo esencial

Dos preguntas, en este orden

No son intercambiables. La primera es binaria: cabe o no cabe. Solo si la respuesta es “cabe” la segunda pregunta llega a existir.

La cuenta que resuelve el 90% de las dudas

tokens/s teórico = ancho de banda (GB/s) ÷ GB leídos por token
tokens/s en la práctica ≈ 75% de ese número

Un ejemplo que aparece mucho: el DGX Spark tiene 128 GB de memoria y 273 GB/s de ancho de banda. Un modelo de 70 mil millones de parámetros comprimido pesa unos 40 GB. Así que 273 ÷ 40 ≈ 6,8 tokens/s de techo, y unos 4,5 en la práctica. Cabe de sobra — y es más lento de lo que tú lees.

Del otro lado, la RTX 5090 tiene 1792 GB/s, la memoria más rápida del mercado de consumo. Pero tiene 32 GB. Ese mismo modelo de 40 GB no entra. La cinta transportadora más rápida del mercado, parada, porque la caja no le cabe.

Dos máquinas caras, cada una respondiendo bien a una pregunta distinta. Por eso “cuál es la mejor tarjeta para IA” es una pregunta mal formulada.

Antes de todo

¿Para qué lo quieres?

El uso determina el tamaño del modelo, y el tamaño determina la máquina. Casi todo el mundo elige en el orden inverso — compra la tarjeta y luego busca qué ejecuta. Ahí es donde se va el dinero.

El uso, y el tamaño de modelo que realmente pide

Las cuatro razones para ejecutar en local

Elige en este orden: uso → tamaño del modelo → máquina. Quien se arrepiente de la compra es quien fue por el camino inverso.

Antes de gastar dinero

Los 8 errores que llevan a comprar la máquina equivocada

Todos vienen de la misma raíz: mirar un solo número, o mirar el número que la tienda eligió mostrar.

Diagnóstico rápido

Qué corre de verdad en cada franja de memoria

Asumiendo compresión ~Q4 (el estándar de quien ejecuta en casa), conversación de tamaño normal y descontando lo que el sistema operativo ya ocupa. Si solo quieres saber “¿me sirve mi tarjeta?”, esta es la tabla.

“Corre bien” = cabe con margen de contexto y entrega velocidad utilizable en esa clase de tarjeta. Anchos de banda distintos con la misma capacidad cambian la experiencia — usa la calculadora de abajo para tu caso.

Apilar tarjetas

Dos tarjetas, tres tarjetas — ¿va más rápido?

Es lo primero que se le ocurre a quien lee que un 70B no cabe. Vale la pena saber la respuesta antes de gastar: apilar tarjetas da espacio, no velocidad.

Qué pasa en realidad

En el modo que todo el mundo usa de hecho (layer-split, el predeterminado en llama.cpp, Ollama y LM Studio), el modelo se corta por capas entre las tarjetas. Para generar un token, la tarjeta 1 procesa sus capas, pasa el resultado a la tarjeta 2, y así — una a la vez. Si lo sumas todo, tres tarjetas idénticas se comportan exactamente como una tarjeta de ese ancho de banda con el triple de memoria.

3 tarjetas × (un tercio de los pesos ÷ 1008 GB/s) = todos los pesos ÷ 1008 GB/s

O sea: la memoria se suma y la velocidad no. Es la misma lección del clúster de Mac que cayó de 117 a 29 tokens/s — ahora dentro de una sola caja.

Un montaje real

Tres RTX 4090 (24 GB, 1008 GB/s cada una) en una placa base de minería con ranuras PCIe 4x, ejecutando un 70B: 10–14 tokens/s medidos. Si el ancho de banda se sumara, serían unos 57. El ancho de banda de una tarjeta frente a un 70B en Q5/Q6 predice 13–16. Lo medido coincide con la predicción.

Por qué las ranuras lentas no lo arruinan

En layer-split, lo que cruza el bus entre tarjetas es el tensor de activación en el punto de unión — unos pocos MB por token, no los pesos. Por eso una placa de minería con ranuras 4x funciona bien para una conversación a la vez. El PCIe importa para cargar el modelo y para el modo tensor-parallel. Consecuencia práctica: no gastes en una placa base de gama alta con varios x16 para ejecutar IA local en casa. Ese dinero rinde más en VRAM.

Cuándo el ancho de banda sí se suma

En modo tensor-parallel (vLLM, o --split-mode row en llama.cpp), cada capa se divide entre las tarjetas y todas trabajan juntas. Entonces el ancho de banda efectivo se acerca a la suma — pero exige una interconexión rápida (NVLink, o al menos PCIe x8/x16), porque las tarjetas se sincronizan en cada capa. En risers de minería x4, tensor-parallel acaba peor que layer-split. Atender a muchos usuarios a la vez también aprovecha bien varias tarjetas; esta página habla de una conversación a la vez.

La factura que nadie menciona

Tres RTX 5090 consumen unos 1725 W solo ellas; con el resto de la máquina, unos 1925 W. Un circuito de 127 V / 15 A da como máximo 1905 W y no debería funcionar de forma continua por encima de ~1524 W. Tres 5090 no caben en un circuito doméstico común de ese tipo — hace falta una línea dedicada, un circuito de 220 V o menos tarjetas. Tres 4090 (~1550 W en total) ya pasan el límite continuo. Súmale el calor: es un pequeño horno encendido en la habitación.

Lo que el montaje realmente exige

• No mezcles modelos de tarjeta. En layer-split la más lenta arrastra toda la cadena, en proporción a cuánto del modelo guarda. Cuatro tarjetas iguales rinden más que dos rápidas y dos lentas. Esto vale también entre generaciones de la misma marca.
• Placa base: cuenta las ranuras antes de contar las tarjetas. Necesitas una ranura PCIe por tarjeta. Las placas de escritorio corrientes tienen una o dos utilizables. Las placas de servidor con dos Xeon, habituales en el mercado de segunda mano, llegan a cuatro o más — normalmente dos a 16x y el resto a 1x — y aceptan de 64 a 512 GB de RAM barata.
• Una ranura 1x funciona, pero cobra al cargar. Una vez que el modelo está en memoria el bus casi no se usa: solo circula el tensor de activación, unos pocos MB por token. Pero cargar 40 GB por una ranura de ~1 GB/s lleva minutos. Ya cargado, la velocidad es la misma que en una 16x. Un bus estrecho cuesta paciencia al principio, no rendimiento después.
• RAM del sistema: 16 GB es el suelo. Se usa para cargar el modelo antes de pasarlo a las tarjetas, y para lo que corra en la CPU. Con muchas tarjetas, 32 GB es más cómodo.
• Sistema operativo: Linux es la vía normal para un montaje multitarjeta, y Ubuntu es el mejor documentado.

La versión corta

• ¿Quieres que quepa un modelo más grande? Apilar funciona, y a menudo es el camino más barato para llegar a 48 o 72 GB.
• ¿Quieres más velocidad en un modelo que ya cabe? Apilar no hace nada. Compra una tarjeta más rápida.
• ¿Mezclando tarjetas distintas? La lenta arrastra toda la cadena, en proporción a la parte del modelo que guarda.
• Comprueba el enchufe y la fuente antes de la tarjeta gráfica. Es la restricción que la gente descubre última.

Una advertencia honesta: en la práctica pierdes algo de VRAM por tarjeta (contexto del driver, búferes) y algo de velocidad en la unión entre capas. La cuenta de arriba es el techo.

Hardware parado

¿Tienes un rig de minería parado?

Cuando Ethereum dejó el proof-of-work, mucha gente se quedó con varias tarjetas iguales, una fuente robusta y una placa base llena de ranuras. Ese formato sirve — para un tipo de modelo, y no el que imaginarías.

El hallazgo, y es contraintuitivo

Un rig tiene mucha memoria sumada y un ancho de banda modesto. Eso es malo para un modelo denso y excelente para MoE, porque el MoE ocupa mucha memoria y lee poco por token. Es exactamente la forma del hardware. Con la fórmula de esta misma página, en un rig de 6 × RTX 3060 12G (72 GB, 360 GB/s):

Fíjate en lo que no cabe: un MoE de 120B pide unos 73 GB de pesos, y encima entran el contexto y 1,5 GB de runtime por tarjeta. En seis tarjetas de 12 GB eso pasa de los 72 GB. El rig ejecuta MoE bien — hasta el tamaño que su memoria aguanta de verdad.

Advertencia obligatoria: la fórmula sobrestima el MoE — el enrutamiento entre expertos cobra lo suyo. El número real queda bastante por debajo. La conclusión cualitativa se sostiene de sobra: si tienes un rig, busca MoE.

Qué tarjetas de rig valen

Regla: por debajo de 8 GB por tarjeta apenas vale la pena. Un 8B con contexto ya no cabe en 6 GB.

La factura de la luz, que es lo que mata

Un rig de 6 × RTX 3060 12G consume unos 1170 W. Funcionando 24 horas al día, eso son aproximadamente 842 kWh al mes — quien nos lo contó paga alrededor de 1 real por kWh, unos R$ 850. Quien minaba conoce esta cuenta. La diferencia es que ahora no hay recompensa en moneda que la compense. Enciende el rig cuando vayas a usarlo, no lo dejes en pie todo el día. Para un modelo mediano, una o dos tarjetas resuelven y consumen una fracción de eso.

La opción Xeon: memoria barata en lugar de tarjetas

Una placa de servidor con dos Xeon y 8 canales de DDR4 entrega unos 150 GB/s — comparable a un mini PC moderno — y acepta de 128 a 512 GB de RAM barata. Misma lección: el MoE convierte hardware barato y ancho en una máquina utilizable. No rescata a un modelo denso grande.

Lado a lado

El mismo modelo en todas las máquinas

Cambia el modelo en la calculadora de arriba y esta tabla entera se rehace. Ordenada por lo que cabe, de más rápido a más lento. Lo que no cabe muestra la velocidad que tendría — tachada, porque es hipotética.

Qué modelo descargar

Catálogo de modelos locales

Saber que necesitas “un 8B” todavía no te dice qué archivo descargar. Haz clic en una fila para cargar el modelo en la calculadora, o ve directo a Hugging Face a por el archivo.

En una frase: esta tabla es el atajo; Hugging Face es el archivo.

Cómo leer la página de un modelo y traerlo aquí

Al abrir un modelo en Hugging Face, busca la pestaña Files. Ahí están los archivos que descargas de verdad. Importan tres cosas:

• El nombre lleva el tamaño. Llama-3.1-8B es un modelo de 8 mil millones de parámetros. Ese es el número que la calculadora quiere en el modo “parámetros”.
• El sufijo es la compresión. Q4_K_M, IQ4_XS, Q8_0. El número después de la Q es, a grandes rasgos, cuántos bits por peso. Q4 es el estándar para uso doméstico.
• Los GB junto al archivo no son la memoria que vas a gastar. Son solo el tamaño de la descarga. Falta el contexto — por eso la calculadora lo suma aparte.

Si ya tienes el archivo delante y solo sabes su tamaño en GB, usa el modo “sé el tamaño del archivo” en la calculadora: lo convierte a parámetros usando la compresión que elegiste.

Un aviso para quien empieza: algunos modelos oficiales (los de Meta, por ejemplo) están gated — Hugging Face pide una cuenta y aceptar una licencia antes de liberar la descarga. Nada está roto; es la licencia. Las conversiones GGUF de la comunidad suelen ser abiertas, y es lo que los enlaces de búsqueda de abajo muestran primero.

Q4 GB es el tamaño típico del archivo descargado — no es un benchmark ni la memoria en uso. En esta máquina aplica la fórmula de la página con la memoria, el ancho de banda y el contexto que elegiste en la calculadora de arriba: cambia el hardware allí y esta columna entera se rehace. Todas las filas usan el mismo presupuesto de tokens; lo que cambia es la memoria que cuesta, proporcional al tamaño del modelo. Esto no es llama-bench.

Lee los números de MoE con descuento. La fórmula asume que solo se leen los parámetros activos, y eso da un techo demasiado optimista: el enrutamiento entre expertos cuesta algo. Un caso de nuestra propia tabla de mediciones: el gpt-oss 120B se midió en 70–80 tok/s en un Mac Studio, bastante por debajo de lo que sugiere la división simple. Para MoE, toma la columna como “va a ser rápido”, no como el número.

Realidad

Números que otras personas midieron

La calculadora da la estimación. Estos son resultados de banco publicados por terceros — útiles para calibrar la expectativa y ver el efecto del programa usado. Filtra por lo que te interese.

medido banco publicado · estimación fórmula aplicada, no medición. Todos generando respuesta, una conversación a la vez.

Lo que enseña esta tabla y no enseña la fórmula

• El programa importa casi tanto como la tarjeta. Mismo modelo, mismo Mac: 26–28 tok/s en un runtime, 17,8 en otro, 5–7 en un tercero con los ajustes de fábrica. Antes de cambiar de hardware, cambia de programa.
• El MoE cambia el juego en la franja media. Un MoE de 30B con 3B activos va a 30–40 tok/s en una iGPU donde un denso de 27B se arrastra a 5–8. Misma memoria ocupada, seis veces la velocidad.
• Capacidad extra no es velocidad extra. La RTX PRO 6000 tiene 96 GB frente a los 32 GB de la 5090 — y exactamente el mismo ancho de banda. Te deja ejecutar lo que no cabía; no te deja ejecutar más rápido lo que ya cabía.
• Un modelo pequeño no aprovecha una tarjeta grande. Un modelo de 1B llegó a 281 tok/s. No vas a notar la diferencia entre 200 y 280 — a ese tamaño, cualquier tarjeta moderna sirve.

Paso a paso

Cómo descubrir tus dos números

No hace falta instalar nada. Lleva un minuto.

Tabla de referencia: ancho de banda por tarjeta

¿Encontraste el nombre de tu tarjeta en el Administrador de tareas? Su ancho de banda está aquí. Cifras de la ficha oficial del fabricante.

Recetas

Cinco montajes, con números honestos

Cada receta dice qué ganas y qué pierdes. Los tokens por segundo salen de la fórmula de esta misma página, con 8k de contexto — son estimaciones, no benchmarks. Los vatios son de la máquina completa: las tarjetas más 150 W para el resto.

Decisión

Guía de compra por objetivo

No existe “la mejor”. Existe la adecuada para lo que vas a hacer. Toda recomendación de abajo viene con lo que se pierde.

Vocabulario

Glosario sin jerga

Los términos que vas a encontrar en cualquier tutorial, en español claro.

Token

Un trozo de palabra. En español, una palabra común suele valer 1 a 3 tokens. “Tokens por segundo” es, en la práctica, la velocidad con la que el texto aparece en pantalla.

Parámetros (el “8B”, “70B”)

Cuántos miles de millones de números tiene el modelo. Es el tamaño “de fábrica” y no es el tamaño del archivo que descargas — el archivo depende de la compresión.

Cuantización (Q4, Q8, IQ4_XS)

Comprimir los pesos, guardando cada número con menos decimales. Q4 usa unos 4 bits por peso, Q8 usa 8. Menos bits: el modelo ocupa menos, va más rápido y pierde algo de calidad. Q4 es el estándar de quien ejecuta en casa — la pérdida es pequeña y la ganancia enorme. Variantes como IQ4_XS comprimen algo más y a veces son la diferencia entre caber y no caber.

VRAM y memoria unificada

La VRAM es la memoria exclusiva de la tarjeta gráfica — rápida y no ampliable. La memoria unificada (Macs, algunos mini PC) es un solo bote compartido entre procesador y GPU: más flexible, casi siempre con menos ancho de banda que una tarjeta dedicada.

Ancho de banda de memoria (GB/s)

Cuántos gigabytes entrega la memoria por segundo. Es el número que decide la velocidad de generación. Rara vez aparece en el anuncio; está siempre en la ficha técnica del fabricante.

Contexto y caché KV

El contexto es cuánto “recuerda” el modelo de la conversación y de los archivos abiertos. La caché KV es la memoria que eso ocupa — y no viene incluida en el tamaño del archivo del modelo. Es el motivo de que un modelo “de 6,6 GB” ocupe 17,9 GB de verdad.

Denso vs MoE (Mixture of Experts)

Un modelo denso lee todos sus pesos para generar cada token. Un MoE está dividido en expertos y solo activa algunos a la vez: necesita toda la memoria para caber, pero lee poco en cada token. Por eso un “30B-A3B” (30 mil millones en total, 3 activos) ocupa como un modelo grande y corre como uno pequeño.

Offload

Cuando el modelo no cabe entero en la tarjeta, el programa deja parte de las capas en la memoria del sistema y las procesa en el procesador. Funciona — y es bastante más lento, porque esa parte pierde el ancho de banda de la tarjeta y pasa a depender de la RAM y de la CPU. Sirve para ejecutar lo que no cabría; no sirve para ejecutar rápido.

Prefill y decode

El prefill es leer tu pregunta — depende de la potencia de cálculo de la GPU. El decode es escribir la respuesta — depende del ancho de banda de memoria. La calculadora de esta página estima el decode, que es la parte que sientes mientras el texto aparece.

GGUF, Ollama, LM Studio, llama.cpp, MLX

GGUF es el formato de archivo más común de los modelos comprimidos. llama.cpp es el motor que ejecuta ese formato; Ollama y LM Studio son formas más amables de usar el mismo motor (LM Studio tiene interfaz gráfica y es el camino más fácil para empezar). MLX es el motor de Apple, optimizado para chips M — en Mac suele ser bastante más rápido que las alternativas.

NPU y TOPS

La NPU es un chip dedicado a tareas de IA, medido en TOPS. Es excelente para transcripción de audio y visión por computador. No resuelve el cuello de botella de un LLM grande, que es el ancho de banda de memoria. TOPS alto en el marketing no significa tokens por segundo altos.

Transparencia

Fuentes, método y límites

De dónde vienen los números

StudyMarkets montó esta guía sobre bancos de pruebas y explicaciones públicas de terceros. La fórmula central (ancho de banda ÷ tamaño, práctica ≈ 75%), la regla de 6 vs 30 tokens/s y los ejemplos de memoria en uso vienen principalmente del canal ViktorKav. Los tokens por segundo medidos vienen de los canales y sitios listados abajo. Las fichas de ancho de banda de las tarjetas vienen de la documentación oficial de los fabricantes.

• ViktorKav (@VKav) — fórmula, regla y ejemplos. Apple le quitó la IA local a NVIDIA · La IA local correcta para 4, 8 y 16 GB · canal
• Alex Ziskind (@AZisk) — 5090 vs 5080 vs portátil vs Mac, clúster de Mac mini. canal
• Jeff Geerling — Mac Studio en clúster por Thunderbolt 5. canal · artículo
• NetworkChuck — 5 Mac Studio en red: la caída de 117 a 29 tokens/s. canal
• ttio2tech — 3090 vs 5090 con el mismo modelo de 27B.
• MyAIHardware — tabla de llama.cpp en 5090 / 4090 / 3090 / Mac. benchmarks
• Unsloth — tamaños y calidad de las compresiones GGUF. Dynamic 3.0 GGUFs
• HWCooling y Phoronix — gráficos integrados y el cuello de botella del ancho de banda. HWCooling · Phoronix

Lo que esta página no es

• No es un benchmark. Es una estimación de orden de magnitud para decidir una compra. Los números reales dependen del programa, la versión, el contexto y la configuración.
• La regla del 75% es optimista en modelos pequeños. En un modelo de 8 mil millones la eficiencia real observada se acerca más al 55% del techo; en modelos grandes la regla se aproxima bien.
• Solo cubre la generación de la respuesta. Leer tu prompt depende de la potencia de cálculo de la GPU y no entra en esta cuenta.
• Ninguno de los canales citados avala esta herramienta. La medición es suya; la cuenta y el texto son nuestros.
• Si la ficha oficial de tu máquina discrepa de un preajuste, confía en la ficha y usa el modo Personalizado.

Cómo citar

StudyMarkets. IA local: qué ejecuta realmente tu máquina, 2026. Fórmula de generación: ancho de banda de memoria ÷ tamaño leído por token (ViktorKav, “Apple le quitó la IA local a NVIDIA”, YouTube). Tokens por segundo medidos por los canales y sitios citados en la página.