IA local: o que a sua máquina realmente corre

O essencial

Duas perguntas, nesta ordem

Não são intercambiáveis. A primeira é binária: cabe ou não cabe. Só se a resposta for “cabe” é que a segunda pergunta passa a existir.

A conta que resolve 90% das dúvidas

tokens/s teórico = largura de banda (GB/s) ÷ GB lidos por token
tokens/s na prática ≈ 75% desse número

Um exemplo que aparece muito: o DGX Spark tem 128 GB de memória e 273 GB/s de largura de banda. Um modelo de 70 mil milhões de parâmetros comprimido pesa cerca de 40 GB. Logo, 273 ÷ 40 ≈ 6,8 tokens/s no tecto, e uns 4,5 na prática. Cabe com folga — e é mais lento do que aquilo que lê.

Do outro lado, a RTX 5090 tem 1792 GB/s, a memória mais rápida do consumo. Mas tem 32 GB. Aquele mesmo modelo de 40 GB não entra. A passadeira mais rápida do mercado, parada, porque a caixa não lhe cabe.

São duas máquinas caras, cada uma a responder bem a uma pergunta diferente. É por isso que “qual é a melhor placa para IA” é uma pergunta mal formulada.

Antes de tudo

Para que quer isto?

A utilização determina o tamanho do modelo, e o tamanho determina a máquina. Quase todos escolhem pela ordem inversa — compram a placa e depois procuram o que ela corre. É aí que o dinheiro se perde.

A utilização, e o tamanho de modelo que ela realmente pede

Os quatro motivos para correr localmente

Escolha nesta ordem: utilização → tamanho do modelo → máquina. Quem faz o caminho inverso — compra a placa e depois procura o que ela corre — é quem se arrepende.

Antes de gastar dinheiro

Os 8 erros que levam alguém a comprar a máquina errada

Vêm todos da mesma raiz: olhar para um número só, ou olhar para o número que a loja escolheu mostrar.

Diagnóstico rápido

O que realmente corre em cada patamar de memória

Assumindo compressão ~Q4 (o padrão de quem corre em casa), conversa de tamanho normal e descontando o que o sistema operativo já ocupa. Se só quer saber “a minha placa serve”, é esta a tabela.

“Corre bem” = cabe com margem de contexto e entrega velocidade utilizável naquela classe de placa. Larguras de banda diferentes na mesma capacidade mudam a experiência — use a calculadora abaixo para o seu caso.

Empilhar placas

Duas placas, três placas — fica mais rápido?

É a primeira coisa que ocorre a quem lê que um 70B não cabe. Vale a pena saber a resposta antes de gastar: empilhar placas dá espaço, não velocidade.

O que realmente acontece

No modo que todos usam de facto (layer-split, o padrão do llama.cpp, Ollama e LM Studio), o modelo é fatiado por camadas entre as placas. Para gerar um token, a placa 1 processa as camadas dela, passa o resultado à placa 2, e assim por diante — uma de cada vez. Se somarmos tudo, três placas idênticas comportam-se exactamente como uma placa daquela largura de banda com o triplo da memória.

3 placas × (um terço dos pesos ÷ 1008 GB/s) = todos os pesos ÷ 1008 GB/s

Ou seja: a memória soma e a velocidade não. É a mesma lição do cluster de Mac que caiu de 117 para 29 tok/s — agora dentro de uma só caixa.

Uma montagem real

Três RTX 4090 (24 GB, 1008 GB/s cada) numa placa-mãe de mineração com ranhuras PCIe 4x, a correr um 70B: 10–14 tok/s medidos. Se a largura de banda somasse, seriam cerca de 57. A largura de banda de uma placa contra um 70B em Q5/Q6 prevê 13–16. O valor medido coincide com a previsão.

Porque é que as ranhuras lentas não estragam

Em layer-split, o que atravessa o barramento entre as placas é o tensor de activação no ponto de junção — alguns MB por token, não os pesos. É por isso que uma placa-mãe de mineração com ranhuras 4x funciona bem para uma conversa de cada vez. O PCIe importa para carregar o modelo e para o modo tensor-parallel. Consequência prática: não gaste numa placa-mãe de topo com vários x16 para correr IA local em casa. Esse dinheiro rende mais em VRAM.

Quando a largura de banda soma a sério

No modo tensor-parallel (vLLM, ou --split-mode row no llama.cpp), cada camada é dividida entre as placas e todas trabalham juntas. Aí a largura de banda efectiva aproxima-se da soma — mas exige uma interligação rápida (NVLink, ou pelo menos PCIe x8/x16), porque as placas sincronizam a cada camada. Em risers de mineração x4, o tensor-parallel acaba pior que o layer-split. Atender muitos utilizadores ao mesmo tempo também aproveita bem várias placas; esta página fala de uma conversa de cada vez.

A conta que ninguém menciona

Três RTX 5090 puxam cerca de 1725 W só elas; com o resto da máquina, uns 1925 W. Um circuito de 127 V / 15 A dá no máximo 1905 W e não deve correr continuamente acima de ~1524 W. Três 5090 não cabem num circuito doméstico comum desse tipo — exige linha dedicada, circuito de 220 V ou menos placas. Três 4090 (~1550 W no total) já passam o limite contínuo. Junte-lhe o calor: é um pequeno forno ligado na sala.

O que a montagem realmente exige

• Não misture modelos de placa. Em layer-split a mais lenta arrasta a cadeia inteira, proporcionalmente a quanto do modelo ela carrega. Quatro placas iguais rendem mais do que duas rápidas e duas lentas. Isto vale também entre gerações da mesma marca.
• Placa-mãe: conte as ranhuras antes de contar as placas. É preciso uma ranhura PCIe por placa. As placas-mãe de desktop comum têm uma ou duas utilizáveis. As placas de servidor com dois Xeon, comuns no mercado usado, chegam a quatro ou mais — normalmente duas em 16x e as restantes em 1x — e aceitam 64 a 512 GB de RAM barata.
• Uma ranhura 1x funciona, mas cobra no carregamento. Depois de o modelo estar em memória o barramento quase não é usado: só circula o tensor de activação, alguns MB por token. Mas carregar 40 GB por uma ranhura de ~1 GB/s leva minutos. Uma vez carregado, a velocidade é a mesma de uma 16x. Barramento estreito custa paciência no início, não desempenho depois.
• RAM de sistema: 16 GB é o mínimo. É usada para carregar o modelo antes de o entregar às placas, e para o que corra em CPU. Com muitas placas, 32 GB é mais confortável.
• Sistema operativo: o Linux é o caminho normal para uma montagem multi-placa, e o Ubuntu é o mais documentado.

A versão curta

• Quer fazer caber um modelo maior? Empilhar funciona, e é muitas vezes o caminho mais barato para chegar a 48 ou 72 GB.
• Quer mais velocidade num modelo que já cabe? Empilhar não faz nada. Compre uma placa mais rápida.
• Vai misturar placas diferentes? A lenta arrasta a cadeia toda, proporcionalmente à fatia do modelo que guarda.
• Verifique a tomada e a fonte antes da placa gráfica. É a restrição que as pessoas descobrem por último.

Uma ressalva honesta: na prática perde um pouco de VRAM por placa (contexto de driver, buffers) e um pouco de velocidade na junção entre camadas. A conta acima é o tecto.

Hardware parado

Tem um rig de mineração parado?

Quando o Ethereum saiu do proof-of-work, muita gente ficou com várias placas iguais, uma fonte robusta e uma placa-mãe cheia de ranhuras. Esse formato serve — para um tipo de modelo, e não o que imaginaria.

O achado, e é contra-intuitivo

Um rig tem muita memória somada e largura de banda modesta. Isso é mau para modelo denso e excelente para MoE, porque o MoE ocupa muita memória e lê pouco por token. É exactamente o formato do hardware. Pela fórmula desta própria página, num rig de 6 × RTX 3060 12G (72 GB, 360 GB/s):

Repare no que não cabe: um MoE de 120B pede uns 73 GB de pesos, e ainda entram o contexto e 1,5 GB de runtime por placa. Em seis placas de 12 GB isso passa os 72 GB. O rig corre MoE bem — até ao tamanho que a memória dele realmente segura.

Ressalva obrigatória: a fórmula sobrestima o MoE — o encaminhamento entre especialistas cobra o seu preço. O número real fica bem abaixo. A conclusão qualitativa sustenta-se com folga: se tem um rig, procure MoE.

Que placas de rig prestam

Regra: abaixo de 8 GB por placa quase não vale. Um 8B com contexto já não cabe em 6 GB.

A conta da luz, que é o que mata

Um rig de 6 × RTX 3060 12G puxa cerca de 1170 W. A correr 24 horas por dia, isso é aproximadamente 842 kWh por mês — quem relatou isto paga cerca de 1 real por kWh, uns R$ 850. Quem minerava conhece esta conta. A diferença é que agora não há recompensa em moeda para a compensar. Ligue o rig quando for usar, não o deixe de pé o dia inteiro. Para um modelo médio, uma ou duas placas resolvem e consomem uma fracção disso.

A opção Xeon: memória barata em vez de placas

Uma placa de servidor com dois Xeon e 8 canais de DDR4 entrega uns 150 GB/s — comparável a um mini PC moderno — e aceita 128 a 512 GB de RAM barata. Mesma lição: o MoE transforma hardware barato e largo em máquina utilizável. Não salva um modelo denso grande.

Lado a lado

O mesmo modelo em todas as máquinas

Mude o modelo na calculadora acima e esta tabela inteira refaz-se. Ordenada por quem cabe, do mais rápido ao mais lento. Quem não cabe mostra a velocidade que teria — riscada, porque é hipotética.

Que modelo transferir

Catálogo de modelos locais

Saber que precisa de “um 8B” ainda não lhe diz que ficheiro transferir. Clique numa linha para carregar o modelo na calculadora, ou vá directamente ao Hugging Face buscar o ficheiro.

Numa frase: esta tabela é o atalho; o Hugging Face é o acervo.

Como ler a página de um modelo e trazê-lo para aqui

Ao abrir um modelo no Hugging Face, procure o separador Files. É ali que estão os ficheiros que transfere de facto. Três coisas importam:

• O nome carrega o tamanho. Llama-3.1-8B é um modelo de 8 mil milhões de parâmetros. É esse o número que a calculadora quer no modo “parâmetros”.
• O sufixo é a compressão. Q4_K_M, IQ4_XS, Q8_0. O número depois do Q é, grosso modo, quantos bits por peso. O Q4 é o padrão de quem corre em casa.
• Os GB ao lado do ficheiro não são a memória que vai gastar. São só o tamanho da transferência. Falta o contexto — é por isso que a calculadora o soma em separado.

Se já tem o ficheiro à frente e só sabe o tamanho em GB, use o modo “sei o tamanho do ficheiro” na calculadora: ela converte para parâmetros usando a compressão que escolheu.

Um aviso para quem está a começar: alguns modelos oficiais (os da Meta, por exemplo) são gated — o Hugging Face pede conta e aceitação de licença antes de libertar a transferência. Nada está avariado; é a licença. As conversões GGUF da comunidade são normalmente abertas, e é o que as ligações de busca abaixo mostram primeiro.

Q4 GB é o tamanho típico do ficheiro transferido — não é benchmark nem a memória em uso. Nesta máquina aplica a fórmula da página com a memória, a largura de banda e o contexto que escolheu na calculadora acima: mude o hardware lá e esta coluna inteira refaz-se. Todas as linhas usam o mesmo orçamento de tokens; o que muda é a memória que isso custa, proporcional ao tamanho do modelo. Isto não é llama-bench.

Leia os números de MoE com desconto. A fórmula assume que só os parâmetros activos são lidos, e isso dá um tecto demasiado optimista: o encaminhamento entre especialistas custa algo. Um caso da nossa própria tabela de medições: o gpt-oss 120B foi medido em 70–80 tok/s num Mac Studio, bem abaixo do que a divisão simples sugere. Para MoE, trate a coluna como “vai ser rápido”, não como o número.

Realidade

Números que outras pessoas mediram

A calculadora dá a estimativa. Estes são resultados de bancada publicados por terceiros — úteis para calibrar a expectativa e ver o efeito do programa usado. Filtre pelo que lhe interessa.

medido bancada publicada · estimativa fórmula aplicada, não medição. Todos em geração de resposta, uma conversa de cada vez.

O que esta tabela ensina e a fórmula não

• O programa importa quase tanto como a placa. Mesmo modelo, mesmo Mac: 26–28 tok/s num runtime, 17,8 noutro, 5–7 num terceiro com a configuração de origem. Antes de trocar de hardware, troque de programa.
• O MoE muda o jogo no patamar médio. Um MoE de 30B com 3B activos anda a 30–40 tok/s numa iGPU onde um denso de 27B se arrasta a 5–8. Mesma memória ocupada, seis vezes a velocidade.
• Capacidade extra não é velocidade extra. A RTX PRO 6000 tem 96 GB contra os 32 GB da 5090 — e exactamente a mesma largura de banda. Deixa-o correr o que não cabia; não o deixa correr mais depressa o que já cabia.
• Um modelo pequeno não aproveita uma placa grande. Um modelo de 1B chegou a 281 tok/s. Não vai sentir a diferença entre 200 e 280 — nesse tamanho, qualquer placa moderna resolve.

Passo a passo

Como descobrir os seus dois números

Não é preciso instalar nada. Leva um minuto.

Tabela de referência: largura de banda por placa

Encontrou o nome da sua placa no Gestor de Tarefas? A largura de banda dela está aqui. Números da ficha oficial do fabricante.

Receitas

Cinco montagens, com número honesto

Cada receita diz o que ganha e o que perde. Os tokens por segundo saem da fórmula desta própria página, com 8k de contexto — são estimativas, não benchmarks. Os watts são da máquina inteira: as placas mais 150 W para o resto.

Decisão

Guia de compra por objectivo

Não existe “a melhor”. Existe a certa para aquilo que vai fazer. Todas as recomendações abaixo vêm com aquilo que se perde.

Vocabulário

Glossário sem jargão

Os termos que vai encontrar em qualquer tutorial, em português claro.

Token

Um pedaço de palavra. Em português, uma palavra comum costuma valer 1 a 3 tokens. “Tokens por segundo” é, na prática, a velocidade a que o texto aparece no ecrã.

Parâmetros (o “8B”, “70B”)

Quantos mil milhões de números o modelo tem. É o tamanho “de fábrica” e não é o tamanho do ficheiro que transfere — o ficheiro depende da compressão.

Quantização (Q4, Q8, IQ4_XS)

Comprimir os pesos, guardando cada número com menos casas. O Q4 usa cerca de 4 bits por peso, o Q8 usa 8. Menos bits: o modelo ocupa menos, fica mais rápido e perde um pouco de qualidade. O Q4 é o padrão de quem corre em casa — a perda é pequena e o ganho é enorme. Variantes como IQ4_XS comprimem um pouco mais e às vezes são a diferença entre caber e não caber.

VRAM e memória unificada

A VRAM é a memória exclusiva da placa gráfica — rápida e não expansível. A memória unificada (Macs, alguns mini PC) é um bolo só, partilhado entre processador e GPU: mais flexível, quase sempre com menos largura de banda do que uma placa dedicada.

Largura de banda de memória (GB/s)

Quantos gigabytes a memória entrega por segundo. É o número que decide a velocidade de geração. Raramente aparece no anúncio; está sempre na ficha técnica do fabricante.

Contexto e KV cache

Contexto é o quanto o modelo “se lembra” da conversa e dos ficheiros abertos. A KV cache é a memória que isso ocupa — e não vem incluída no tamanho do ficheiro do modelo. É o motivo pelo qual um modelo “de 6,6 GB” ocupa 17,9 GB na realidade.

Denso vs MoE (Mixture of Experts)

Um modelo denso lê todos os seus pesos para gerar cada token. Um MoE está dividido em especialistas e só activa alguns de cada vez: precisa de toda a memória para caber, mas lê pouco a cada token. Por isso um “30B-A3B” (30 mil milhões no total, 3 activos) ocupa como um modelo grande e corre como um modelo pequeno.

Offload

Quando o modelo não cabe inteiro na placa, o programa deixa parte das camadas na memória do sistema e processa-as no processador. Funciona — e é bem mais lento, porque essa parte deixa de ter a largura de banda da placa e passa a depender da RAM e do CPU. Serve para correr o que não caberia; não serve para correr depressa.

Prefill e decode

O prefill é ler a sua pergunta — depende do poder de cálculo da GPU. O decode é escrever a resposta — depende da largura de banda de memória. A calculadora desta página estima o decode, que é a parte que sente enquanto o texto aparece.

GGUF, Ollama, LM Studio, llama.cpp, MLX

O GGUF é o formato de ficheiro mais comum dos modelos comprimidos. O llama.cpp é o motor que corre esse formato; o Ollama e o LM Studio são maneiras mais amigáveis de usar o mesmo motor (o LM Studio tem interface gráfica e é o caminho mais fácil para começar). O MLX é o motor da Apple, optimizado para chips M — em Mac, costuma ser bem mais rápido do que as alternativas.

NPU e TOPS

A NPU é um chip dedicado a tarefas de IA, medido em TOPS. É óptima para transcrição de áudio e visão por computador. Não resolve o estrangulamento de um LLM grande, que é a largura de banda de memória. TOPS alto no marketing não significa tokens por segundo altos.

Transparência

Fontes, método e limites

De onde vêm os números

A StudyMarkets montou este guia sobre bancadas e explicações públicas de terceiros. A fórmula central (largura de banda ÷ tamanho, prática ≈ 75%), a régua de 6 vs 30 tokens/s e os exemplos de memória em uso vêm principalmente do canal ViktorKav. Os tokens por segundo medidos vêm dos canais e sites listados abaixo. As fichas de largura de banda das placas vêm da documentação oficial dos fabricantes.

• ViktorKav (@VKav) — fórmula, régua e exemplos. A Apple tomou a IA local à NVIDIA · A IA local certa para 4, 8 e 16 GB · canal
• Alex Ziskind (@AZisk) — 5090 vs 5080 vs portátil vs Mac, cluster de Mac mini. canal
• Jeff Geerling — Mac Studio em cluster por Thunderbolt 5. canal · write-up
• NetworkChuck — 5 Mac Studio em rede: a queda de 117 para 29 tokens/s. canal
• ttio2tech — 3090 vs 5090 no mesmo modelo de 27B.
• MyAIHardware — tabela de llama.cpp em 5090 / 4090 / 3090 / Mac. benchmarks
• Unsloth — tamanhos e qualidade das compressões GGUF. Dynamic 3.0 GGUFs
• HWCooling e Phoronix — gráficos integrados e o estrangulamento da largura de banda. HWCooling · Phoronix

O que esta página não é

• Não é um benchmark. É uma estimativa de ordem de grandeza para decidir uma compra. Os números reais dependem do programa, da versão, do contexto e da configuração.
• A regra dos 75% é optimista em modelos pequenos. Num modelo de 8 mil milhões a eficiência real observada fica mais perto de 55% do tecto; em modelos grandes, a regra aproxima-se bem.
• Só cobre a geração da resposta. A leitura do seu prompt depende do poder de cálculo da GPU e não entra nesta conta.
• Nenhum dos canais citados endossa esta ferramenta. A medição é deles; a conta e o texto são nossos.
• Se a ficha oficial da sua máquina divergir de uma opção pré-definida, confie na ficha e use o modo Personalizado.

Como citar

StudyMarkets. IA local: o que a sua máquina realmente corre, 2026. Fórmula de geração: largura de banda de memória ÷ tamanho lido por token (ViktorKav, “A Apple tomou a IA local à NVIDIA”, YouTube). Tokens por segundo medidos pelos canais e sites citados na página.