IA local: o que a sua máquina realmente roda

O essencial

Duas perguntas, nessa ordem

Elas não são intercambiáveis. A primeira é binária: cabe ou não cabe. Só se a resposta for “cabe” a segunda pergunta passa a existir.

O modelo cabe? — A memória da placa (VRAM) ou a memória unificada do Mac. Se o modelo não entra, acabou — não existe truque. Ele vai para o disco e a velocidade despenca para números que não valem a pena.

Vai ser rápido? — A largura de banda da memória. Para escrever cada pedacinho de palavra, o modelo relê os próprios pesos inteiros. Quanto mais rápido a memória entrega, mais palavras por segundo saem na tela.

A conta que resolve 90% das dúvidas

tokens/s teórico = banda (GB/s) ÷ GB lidos por token
tokens/s na prática ≈ 75% desse número

Um exemplo que aparece muito: o DGX Spark tem 128 GB de memória e 273 GB/s de banda. Um modelo de 70 bilhões de parâmetros comprimido pesa cerca de 40 GB. Então 273 ÷ 40 ≈ 6,8 tokens/s no teto, e uns 4,5 na prática. Cabe folgadamente — e é mais lento do que você lê.

Do outro lado, a RTX 5090 tem 1792 GB/s, a memória mais rápida do consumidor. Mas tem 32 GB. Aquele mesmo modelo de 40 GB não entra. A esteira mais rápida do mercado, parada, porque a caixa não cabe nela.

São duas máquinas caras, cada uma respondendo bem a uma pergunta diferente. É por isso que “qual é a melhor placa para IA” é uma pergunta mal formulada.

A régua de sensação. Abaixo de ~6 tokens/s você espera o texto sair, mais devagar do que você lê. Perto de 30 tokens/s a geração passa da sua velocidade de leitura e a coisa fica confortável. É essa a diferença entre “tecnicamente funciona” e “eu uso isso todo dia”.

Antes de tudo

Para que você quer isso?

O uso determina o tamanho do modelo, e o tamanho determina a máquina. Quase todo mundo escolhe na ordem inversa — compra a placa e depois procura o que ela roda. É aí que o dinheiro vai embora.

O uso, e o tamanho de modelo que ele realmente pede

Os quatro motivos de rodar local

• 1. Privacidade, LGPD, dado sensível. O motivo mais forte — e o que exige menos máquina. Documento de cliente, prontuário, contrato, folha: não podem sair da empresa, ponto. Para perguntar aos próprios documentos, um modelo de 8B a 14B bem montado resolve, porque quem faz o trabalho pesado é a busca nos documentos, não o tamanho do modelo. É o melhor caso de IA local e o mais barato de montar. Quem compra máquina de R$ 20 mil para isso gastou demais.
• 2. Um serviço rodando sozinho — chat do escritório, WhatsApp da empresa, atendimento. Aqui a máquina fica ligada e atende várias pessoas ao mesmo tempo. Muda a conta: o número desta página é de uma conversa por vez, e não é a métrica certa para esse caso. Ver abaixo.
• 3. Tarefa repetitiva em lote — pegar uma pilha de PDF, separar, extrair dados, preencher planilha. A velocidade não importa. Você deixa rodando de madrugada e busca o resultado de manhã. Um modelo a 3 tok/s faz o serviço. Aqui compre memória, não banda — é o único caso da página em que ficar lento é aceitável.
• 4. Programar. O caso mais exigente e o mais mal comprado. Autocompletar linha um 3B faz. Programar de verdade — ler vários arquivos, entender o projeto, refatorar sem quebrar — começa a funcionar em 32B e fica bom de 70B para cima. E você fica esperando na frente da tela, então velocidade importa muito. É a combinação mais cara que existe: modelo grande e banda alta.

Se o seu único motivo é ter um assistente de programação, faça a conta antes O que roda numa máquina doméstica hoje ainda fica atrás dos modelos de nuvem para código, e a diferença é maior justamente nas tarefas difíceis. Montar uma máquina de R$ 15–30 mil para substituir uma assinatura mensal costuma ser um mau negócio — a máquina envelhece, a assinatura melhora sozinha. Isso muda se o driver for privacidade: código que não pode sair da empresa por contrato ou por lei. Aí local não é economia, é requisito, e a conta é outra.

Se várias pessoas vão usar ao mesmo tempo Esta página mede uma conversa por vez. Se a ideia é atender várias pessoas ao mesmo tempo, a métrica certa é vazão (quantas respostas por minuto no total), não a velocidade de uma resposta. Um servidor bem configurado atende várias conversas em paralelo com uma queda pequena por conversa, e é aí que empilhar placas ajuda de verdade — ao contrário do caso de uma conversa só. Se for esse o seu caso, trate os números daqui como piso, e teste com a carga real antes de fechar a compra.

Escolha nesta ordem: uso → tamanho do modelo → máquina. Quem faz o caminho inverso — compra a placa e depois procura o que ela roda — é quem se arrepende.

Antes de gastar dinheiro

Os 8 erros que fazem alguém comprar a máquina errada

Todos eles vêm da mesma raiz: olhar um número só, ou olhar o número que a loja escolheu mostrar.

ERRO 1 — “Comprei 12 GB, então roda IA.”

GB diz se cabe. GB/s diz se serve.

Uma RTX 3060 de 12 GB tem 360 GB/s. Uma RTX 5070 também tem 12 GB, mas 672 GB/s — quase o dobro da velocidade no mesmo modelo. Mesma “capacidade”, experiências completamente diferentes. Nenhuma loja mostra esse segundo número no card do produto.

ERRO 2 — “8 GB dá pra começar e depois eu rodo os modelos grandes.”

Não dá. Não há upgrade de software que resolva.

8 GB roda muito bem modelos de 3B a 8B. Não roda 27B e não roda 70B — nem com a compressão mais agressiva, porque só os pesos de um 70B já pedem ~40 GB. A memória da placa não é expansível. É a única peça do PC que você não upgrada: você troca.

ERRO 3 — “Tenho 32 GB de RAM no PC, então rodo modelo de 30 GB.”

Cabe, sim. E anda a 1–2 tokens/s.

A RAM comum do PC (DDR5 dual channel) entrega ~90 GB/s. A VRAM de uma 5090 entrega 1792. É vinte vezes mais lento. O modelo carrega, responde — e você espera minutos por um parágrafo. Teste isso na calculadora com o preset “CPU + RAM”: o número fala sozinho.

ERRO 4 — “O arquivo tem 6,6 GB, então cabe na minha placa de 8 GB.”

Arquivo no disco ≠ memória em uso.

Além dos pesos, entra o contexto da conversa (o KV cache), o runtime e o sistema. Um modelo de 6,6 GB no disco chegou a 17,9 GB em uso real. Um modelo 3B de 1,8 GB foi a 8,4 GB com um documento grande. Sempre reserve margem.

ERRO 5 — “Meu processador tem NPU de 50 TOPS, é uma máquina de IA.”

TOPS não gera token. Banda gera.

NPU serve muito bem para transcrição, visão computacional e efeitos de câmera. Ela não resolve o gargalo do LLM, que é a leitura repetida dos pesos na memória. Mini PC com NPU grande e memória de 128 bits é máquina de trabalho com IA de brinde — não máquina de IA.

ERRO 6 — “Junto dois computadores e dobro a velocidade.”

Cluster faz caber. Quase nunca faz correr.

Num teste com 5 Mac Studio em rede 10GbE, um modelo pequeno caiu de 117 para 29 tokens/s. O cabo é ordens de grandeza mais lento que a memória interna. Cluster existe para rodar o que não cabia em uma caixa só, aceitando ficar mais lento.

ERRO 7 — “Vou ter o ChatGPT rodando em casa.”

Você vai ter um modelo bom, privado e menor.

Os modelos de fronteira têm centenas de bilhões a trilhões de parâmetros e rodam em datacenter. O que cabe na sua casa é excelente para redação, código, resumo, RAG em documentos privados e automação — e não é a mesma coisa. Comprar esperando paridade é o caminho mais curto para a frustração.

ERRO 8 — “Empilho três placas e fica três vezes mais rápido.”

Três placas = três vezes o espaço, a mesma velocidade.

O modo padrão divide o modelo por camadas e roda uma placa de cada vez, então a banda não soma. Um setup real com três RTX 4090 num 70B mediu 10–14 tok/s — a velocidade de uma placa, com a memória de três. Empilhar é como você faz caber o que não cabia; não é como você fica mais rápido.

Diagnóstico rápido

O que realmente roda em cada faixa de memória

Assumindo compressão ~Q4 (o padrão de quem roda em casa), conversa de tamanho normal e descontando o que o sistema operacional já ocupa. Se você só quer saber “a minha placa serve”, esta é a tabela.

“Roda bem” = cabe com folga de contexto e entrega velocidade utilizável naquela classe de placa. Bandas diferentes na mesma capacidade mudam a experiência — use a calculadora abaixo para o seu caso.

Empilhar placas

Duas placas, três placas — fica mais rápido?

É a primeira coisa que vem à cabeça de quem lê que um 70B não cabe. A resposta vale saber antes de gastar: empilhar placa dá espaço, não velocidade.

O que realmente acontece

No modo que todo mundo usa de fato (layer-split, o padrão do llama.cpp, Ollama e LM Studio), o modelo é fatiado por camadas entre as placas. Para gerar um token, a placa 1 processa as camadas dela, passa o resultado para a placa 2, e assim por diante — uma de cada vez. Somando, três placas iguais se comportam exatamente como uma placa daquela banda com o triplo da memória.

3 placas × (um terço dos pesos ÷ 1008 GB/s) = todos os pesos ÷ 1008 GB/s

Ou seja: a memória soma e a velocidade não. É a mesma lição do cluster de Mac que caiu de 117 para 29 tok/s — agora dentro de um gabinete só.

Um setup real

Três RTX 4090 (24 GB, 1008 GB/s cada) numa placa-mãe de mineração com slots PCIe 4x, rodando um 70B: 10–14 tok/s medidos. Se a banda somasse, seriam uns 57. A banda de uma placa contra um 70B em Q5/Q6 prevê 13–16. O medido cai exatamente na previsão.

Por que os slots lentos não estragam

Em layer-split, o que atravessa o barramento entre as placas é o tensor de ativação no ponto de emenda — alguns MB por token, não os pesos. Por isso uma placa-mãe de mineração com slots 4x funciona bem para uma conversa por vez. O PCIe importa para carregar o modelo e para o modo tensor-parallel. Consequência prática: não gaste em placa-mãe topo de linha com vários x16 para rodar IA local em casa. Esse dinheiro rende mais em VRAM.

Quando a banda soma de verdade

No modo tensor-parallel (vLLM, ou --split-mode row no llama.cpp), cada camada é dividida entre as placas e todas trabalham juntas. Aí a banda efetiva se aproxima da soma — mas exige interconexão rápida (NVLink, ou pelo menos PCIe x8/x16), porque as placas sincronizam a cada camada. Em riser de mineração x4, tensor-parallel fica pior que layer-split. Atender vários usuários ao mesmo tempo também aproveita bem várias placas; esta página fala de uma conversa por vez.

A conta que ninguém menciona

Três RTX 5090 puxam cerca de 1725 W só elas; com o resto da máquina, uns 1925 W. Um circuito de 127 V / 15 A dá no máximo 1905 W e não deve rodar continuamente acima de ~1524 W. Três 5090 não cabem num circuito residencial comum — exige linha dedicada, circuito de 220 V ou menos placas. Três 4090 (~1550 W no total) já passam do limite contínuo. Some o calor: é um forninho ligado na sala.

O que a montagem realmente exige

• Não misture modelos de placa. Em layer-split a mais lenta arrasta a cadeia inteira, proporcional a quanto do modelo ela carrega. Quatro placas iguais rendem mais que duas rápidas e duas lentas. Isso vale entre gerações da mesma marca também.
• Placa-mãe: conte os slots antes de contar as placas. Você precisa de um slot PCIe por placa. Placas-mãe de desktop comum têm um ou dois utilizáveis. Placas de servidor com Xeon de duplo processador, comuns no mercado usado, chegam a quatro ou mais — normalmente dois em 16x e o resto em 1x — e aceitam 64 a 512 GB de RAM barata.
• Slot 1x funciona, mas cobra no carregamento. Depois que o modelo está na memória, o barramento quase não é usado: só trafega o tensor de ativação, alguns MB por token. Mas carregar 40 GB por um slot de ~1 GB/s leva minutos. Uma vez carregado, a velocidade é a mesma de um 16x. Barramento estreito custa paciência no início, não desempenho depois.
• RAM de sistema: 16 GB é o piso. Ela é usada para carregar o modelo antes de mandar para as placas, e para o que sobrar em CPU. Com muitas placas, 32 GB é mais confortável.
• Sistema: Linux é o caminho normal para montagem multi-placa, e o Ubuntu é o mais documentado.

A versão curta

• Quer fazer caber um modelo maior? Empilhar funciona, e muitas vezes é o caminho mais barato para chegar a 48 ou 72 GB.
• Quer mais velocidade num modelo que já cabe? Empilhar não faz nada. Compre uma placa mais rápida.
• Misturando placas diferentes? A lenta arrasta a corrente toda, proporcionalmente à fatia do modelo que ela guarda.
• Confira a tomada e a fonte antes da placa de vídeo. É a restrição que as pessoas descobrem por último.

Uma ressalva honesta: na prática você perde um pouco de VRAM por placa (contexto de driver, buffers) e um pouco de velocidade na emenda entre camadas. A conta acima é o teto.

Hardware parado

Tem um rig de mineração parado?

Quando o Ethereum saiu do proof-of-work, muita gente ficou com várias placas iguais, uma fonte robusta e uma placa-mãe cheia de slots. Esse formato serve — para um tipo de modelo, e não o que você imaginaria.

O achado, e ele é contraintuitivo

Um rig tem muita memória somada e banda modesta. Isso é ruim para modelo denso e excelente para MoE, porque MoE ocupa muita memória e lê pouco por token. É exatamente o formato do hardware. Pela fórmula desta própria página, num rig de 6 × RTX 3060 12G (72 GB, 360 GB/s):

Repare no que não cabe: um MoE de 120B pede uns 73 GB de pesos, e ainda entram o contexto e 1,5 GB de runtime por placa. Em seis placas de 12 GB isso passa dos 72 GB. O rig roda MoE bem — até o tamanho que a memória dele realmente segura.

Ressalva obrigatória: a fórmula superestima MoE — o roteamento entre especialistas cobra o seu preço. O número real fica bem abaixo. A conclusão qualitativa se sustenta com folga: se você tem um rig, procure MoE.

Quais placas de rig prestam

Regra: abaixo de 8 GB por placa, quase não vale. Um 8B com contexto já não cabe em 6 GB.

A conta de luz, que é o que mata

Um rig de 6 × RTX 3060 12G puxa cerca de 1.170 W. Rodando 24 horas por dia, isso é aproximadamente 842 kWh por mês — a R$ 1 por kWh, uns R$ 850. Quem minerava conhece essa conta. A diferença é que agora não há recompensa em moeda para compensar. Ligue o rig quando for usar, não o deixe de pé o dia inteiro. Para modelo médio, uma ou duas placas resolvem e consomem uma fração disso.

A opção Xeon: memória barata em vez de placa

Uma placa de servidor com dois Xeon e 8 canais de DDR4 entrega uns 150 GB/s — comparável a um mini PC moderno — e aceita 128 a 512 GB de RAM barata. Mesma lição: MoE transforma hardware barato e largo em máquina utilizável. Não salva modelo denso grande.

Lado a lado

O mesmo modelo em todas as máquinas

Muda o modelo na calculadora acima e esta tabela inteira se refaz. Ordenada por quem cabe, do mais rápido ao mais lento. Quem não cabe mostra a velocidade que teria — riscada, porque é hipotética.

Qual modelo baixar

Catálogo de modelos locais

Saber que você precisa de “um 8B” ainda não diz qual arquivo baixar. Clique numa linha para carregar o modelo na calculadora, ou vá direto ao Hugging Face buscar o arquivo.

Onde os modelos realmente ficam Esta página não lista todos os LLMs do mundo — nem perto disso. O lugar onde a comunidade publica os pesos para uso local (GGUF para llama.cpp, MLX para Mac e assim por diante) é o Hugging Face: uma biblioteca pública de modelos, datasets e aplicações, com dezenas de milhares de arquivos. A tabela abaixo é apenas uma fatia — os modelos que a nossa pesquisa e as bancadas de fato usaram. Para qualquer outro, busque em huggingface.co/models.

Em uma frase: esta tabela é o atalho; o Hugging Face é o acervo.

Como ler a página de um modelo e trazer para cá

Ao abrir um modelo no Hugging Face, procure a aba Files. É ali que ficam os arquivos que você baixa de verdade. Três coisas importam:

• O nome carrega o tamanho. Llama-3.1-8B é um modelo de 8 bilhões de parâmetros. É esse o número que a calculadora quer no modo “parâmetros”.
• O sufixo é a compressão. Q4_K_M, IQ4_XS, Q8_0. O número depois do Q é, grosso modo, quantos bits por peso. Q4 é o padrão de quem roda em casa.
• O GB ao lado do arquivo não é a memória que você vai gastar. É só o tamanho do download. Falta o contexto — é por isso que a calculadora soma ele separado.

Se você já tem o arquivo na frente e só sabe o tamanho em GB, use o modo “sei o tamanho do arquivo” na calculadora: ela converte para parâmetros usando a compressão que você escolheu.

Um aviso para quem está começando: alguns modelos oficiais (os da Meta, por exemplo) são gated — o Hugging Face pede conta e aceite de licença antes de liberar o download. Nada está quebrado; é a licença. As conversões GGUF da comunidade normalmente são abertas, e é o que os links de busca abaixo mostram primeiro.

Q4 GB é o tamanho típico do arquivo baixado — não é benchmark nem a memória em uso. Nesta máquina aplica a fórmula da página com a memória, a banda e o contexto que você escolheu na calculadora acima: mude o hardware lá e esta coluna inteira se refaz. Todas as linhas usam o mesmo orçamento de tokens; o que muda é a memória que isso custa, proporcional ao tamanho do modelo. Isto não é llama-bench.

Leia os números de MoE com desconto. A fórmula assume que só os parâmetros ativos são lidos, e isso dá um teto otimista demais: o roteamento entre especialistas custa algo. Um caso da nossa própria tabela de medições: o gpt-oss 120B foi medido em 70–80 tok/s num Mac Studio, bem abaixo do que a divisão simples sugere. Para MoE, trate a coluna como “vai ser rápido”, não como o número.

Realidade

Números que outras pessoas mediram

A calculadora dá a estimativa. Estes são resultados de bancada publicados por terceiros — úteis para calibrar a expectativa e ver o efeito do programa usado. Filtre pelo que interessa.

medido bancada publicada · estimativa fórmula aplicada, não medição. Todos em geração de resposta (decode), uma conversa por vez.

O que essa tabela ensina que a fórmula não ensina

• O programa importa quase tanto quanto a placa. Mesmo modelo, mesmo Mac: 26–28 tok/s num runtime, 17,8 noutro, 5–7 num terceiro com o padrão de fábrica ligado. Antes de trocar de hardware, troque de programa.
• MoE muda o jogo na faixa média. Um MoE de 30B com 3B ativos anda 30–40 tok/s numa iGPU onde um denso de 27B arrasta a 5–8. Mesma memória ocupada, velocidade seis vezes maior.
• Capacidade extra não é velocidade extra. A RTX PRO 6000 tem 96 GB contra 32 GB da 5090 — e exatamente a mesma banda. Ela deixa você rodar o que não cabia; não deixa você rodar mais rápido o que já cabia.
• Modelo pequeno não aproveita placa grande. Um modelo de 1B chegou a 281 tok/s. Você não vai sentir diferença entre 200 e 280 — nesse tamanho, qualquer placa moderna resolve.

Rodou aí? Manda o seu número. A tabela acima é de bancadas publicadas. Se você montou a sua máquina, o seu resultado vale para muita gente — principalmente montagens com várias placas e rigs reaproveitados, que quase ninguém publica. Mande: placa(s) e quantidade · modelo e quantização · programa usado · tokens por segundo · tamanho do contexto. Foto da montagem é bem-vinda.

Passo a passo

Como descobrir os seus dois números

Não precisa instalar nada. Leva um minuto.

Windows

1. Aperte Ctrl + Shift + Esc para abrir o Gerenciador de Tarefas.
2. Aba Desempenho → clique em GPU.
3. Leia “Memória de GPU dedicada”. Esse é o seu GB. Ignore a “memória compartilhada” — ela é RAM do sistema emprestada e é lenta.
4. O nome exato da placa aparece no topo. Procure a banda na tabela de referência abaixo.

Mac

1. Menu Apple → Sobre Este Mac.
2. A “Memória” é unificada: CPU e GPU dividem o mesmo pote. É esse o seu GB.
3. Reserve 25–30% para o sistema. Num Mac de 24 GB, conte com ~16 GB reais para o modelo.
4. A banda depende do chip (base / Pro / Max / Ultra), não do tamanho da memória.

Notebook com gráficos integrados

1. Se não há placa de vídeo dedicada, a GPU usa a RAM do sistema.
2. Seu GB é generoso; sua banda é o gargalo (~50–100 GB/s típicos).
3. Use o preset “CPU + RAM” ou o de iGPU na calculadora para ver o resultado honesto.

Tabela de referência: banda por placa

Achou o nome da sua placa no Gerenciador de Tarefas? A banda dela está aqui. Números de ficha oficial do fabricante.

Receitas

Cinco montagens, com número honesto

Cada receita diz o que ganha e o que perde. Os tokens por segundo saem da fórmula desta própria página, com 8k de contexto — são estimativas, não benchmarks. Os watts são da máquina inteira: as placas mais 150 W para o resto.

Entrada — uma RTX 3060 12G

Melhor relação memória/preço/consumo para começar.

Perde: 27B e acima ficam fora.

12 GB · 360 GB/s · 170 W

Confortável — uma RTX 3090 24G usada

27B e 32B com folga, e banda alta. Melhor GB por real do mercado usado.

Perde: 70B continua fora.

24 GB · 936 GB/s · 350 W

Máxima memória por real — 4 a 6 placas iguais de 12G

48 a 72 GB somados. Faz caber 70B, e roda MoE grande muito bem.

Perde: 70B denso arrasta, e a conta de luz é real.

6 × 12 GB · 360 GB/s · 170 W

Muita memória, pouco watt — máquina de memória unificada

Cabe quase tudo, em silêncio.

Perde: Nunca vai ser rápido em modelo denso grande.

128 GB · 273 GB/s · 240 W

Velocidade máxima no que couber — uma RTX 5090

A esteira mais rápida do consumidor.

Perde: 32 GB, então 70B fica de fora.

32 GB · 1.792 GB/s · 575 W

Decisão

Guia de compra por objetivo

Não existe “a melhor”. Existe a certa para o que você vai fazer. Toda recomendação abaixo vem com o que se perde.

“Só quero experimentar e ver se isso serve pra mim”

Não compre nada ainda. Instale um programa de IA local na máquina que você já tem e rode um modelo de 3B a 8B. Se a sua placa tem 6 GB ou mais, isso já funciona. Você vai descobrir em uma tarde se o uso encaixa na sua rotina — e aí compra sabendo o que quer. O que se perde: nada. Este é literalmente o passo grátis que quase todo mundo pula.

“Quero um assistente diário de escrita e código, sem gastar muito”

Faixa de 12 a 16 GB com banda decente. Uma placa de 12 GB e ~500–670 GB/s roda 8B muito rápido e 14B confortável. O que se perde: os modelos de 27B e 32B ficam fora, e são eles que dão o salto perceptível em raciocínio e código complexo. Se o orçamento estica, ir para 24 GB muda de categoria — não é upgrade incremental.

“Quero rodar os modelos grandes de verdade (27B–32B)”

24 GB é o piso. Uma 3090 usada continua sendo a melhor relação GB por real do mercado, com banda excelente (936 GB/s). Uma 4090 é mais rápida e mais cara. O que se perde: 70B continua fora — ele pede ~40 GB só de pesos. E placa usada é placa usada: garantia e histórico contam.

“Quero 70B rodando em casa”

Aqui a conta muda. Você precisa de 48 GB ou mais, e aí as opções são: memória unificada (Mac com 64 GB+, mini PC de memória unificada) ou duas placas de 24 GB. O que se perde: a escolha vira um dilema explícito entre caber e ser rápido. Uma máquina de 128 GB e 273 GB/s roda 70B a ~4,5 tokens/s — abaixo da sua velocidade de leitura. Uma de banda alta custa muito mais. Rode a calculadora com o seu candidato antes de comprar; é exatamente para isso que ela existe.

“Meu caso é privacidade: documentos sensíveis que não podem sair daqui”

Esse é o melhor argumento para IA local, e ele não exige modelo enorme. Para busca e resposta sobre documentos próprios, um modelo de 8B a 14B bem configurado resolve muito bem — o trabalho pesado está na organização dos documentos, não no tamanho do modelo. Priorize memória para contexto longo (16–24 GB) em vez de correr atrás de 70B. O que se perde: raciocínio complexo em cima do material; para isso o modelo maior ajuda.

“Mac ou PC?”

Mac quando você precisa de muita memória em pouco espaço e silêncio: a memória unificada deixa um Mac de 64 GB rodar o que exigiria duas placas de vídeo. A banda é boa, não excelente, exceto nos chips de topo. PC com placa dedicada quando velocidade é o que importa e o modelo cabe na VRAM: nenhuma máquina de memória unificada chega perto de 1792 GB/s. Resumindo: Mac cabe mais, PC corre mais.

“Vale a pena um mini PC com NPU e memória unificada?”

Como computador de trabalho, pode valer muito. Como máquina de IA, cuidado. Memória de 128 bits entrega ~150 GB/s no papel e ~100–115 na prática — o gargalo não é a GPU nem a NPU, é a banda. Um modelo denso de 27B arrasta ali (5–8 tokens/s). MoE se sai bem melhor (30–40). Regra: se a ficha não diz a banda de memória, assuma que ela é o ponto fraco.

O conselho que vale para todo mundo. Antes de comprar, escolha primeiro o modelo que você quer rodar. Só depois procure a máquina que o roda no tokens/s que você aceita. Fazer o caminho inverso — comprar a placa e depois procurar o que ela roda — é como o dinheiro vira arrependimento.

Vocabulário

Glossário sem jargão

Os termos que você vai encontrar em qualquer tutorial, em português claro.

Token — Um pedaço de palavra. Em português, uma palavra comum costuma valer 1 a 3 tokens. “Tokens por segundo” é, na prática, a velocidade com que o texto aparece na tela.

Parâmetros (o “8B”, “70B”) — Quantos bilhões de números o modelo tem. É o tamanho “de fábrica” e não é o tamanho do arquivo que você baixa — o arquivo depende da compressão.

Quantização (Q4, Q8, IQ4_XS) — Comprimir os pesos, guardando cada número com menos casas. Q4 usa cerca de 4 bits por peso, Q8 usa 8. Menos bits: o modelo ocupa menos, fica mais rápido e perde um pouco de qualidade. Q4 é o padrão de quem roda em casa — a perda é pequena e o ganho é enorme. Variantes como IQ4_XS comprimem um pouco mais e às vezes são a diferença entre caber e não caber.

VRAM e memória unificada — VRAM é a memória exclusiva da placa de vídeo — rápida e não expansível. Memória unificada (Macs, alguns mini PCs) é um pote só, dividido entre processador e GPU: mais flexível, quase sempre com banda menor que uma placa dedicada.

Banda de memória (GB/s) — Quantos gigabytes a memória entrega por segundo. É o número que decide a velocidade de geração. Raramente aparece no anúncio; está sempre na ficha técnica do fabricante.

Contexto e KV cache — Contexto é o quanto o modelo “lembra” da conversa e dos arquivos abertos. O KV cache é a memória que isso ocupa — e ela não vem incluída no tamanho do arquivo do modelo. É o motivo de um modelo “de 6,6 GB” ocupar 17,9 GB de verdade.

Denso vs MoE (Mixture of Experts) — Um modelo denso lê todos os seus pesos para gerar cada token. Um MoE é dividido em especialistas e só ativa alguns por vez: ele precisa de toda a memória para caber, mas lê pouco a cada token. Por isso um “30B-A3B” (30 bilhões no total, 3 ativos) ocupa como um modelo grande e corre como um modelo pequeno.

Offload — Quando o modelo não cabe inteiro na placa, o programa deixa parte das camadas na memória do sistema e as processa no processador. Funciona — e é bem mais lento, porque essa parte deixa de ter a banda da placa e passa a depender da RAM e da CPU. Serve para rodar o que não caberia; não serve para rodar rápido.

Prefill e decode — Prefill é ler a sua pergunta — depende do poder de cálculo da GPU. Decode é escrever a resposta — depende da banda de memória. A calculadora desta página estima o decode, que é a parte que você sente enquanto o texto aparece.

GGUF, Ollama, LM Studio, llama.cpp, MLX — GGUF é o formato de arquivo mais comum dos modelos comprimidos. llama.cpp é o motor que roda esse formato; Ollama e LM Studio são maneiras mais amigáveis de usar o mesmo motor (LM Studio tem interface gráfica e é o caminho mais fácil para começar). MLX é o motor da Apple, otimizado para chips M — em Mac, costuma ser bem mais rápido que as alternativas.

NPU e TOPS — NPU é um chip dedicado a tarefas de IA, medido em TOPS. É ótimo para transcrição de áudio e visão computacional. Não resolve o gargalo de um LLM grande, que é banda de memória. TOPS alto no marketing não significa tokens por segundo altos.

Transparência

Fontes, método e limites

De onde vêm os números

A StudyMarkets montou este guia em cima de bancadas e explicações públicas de terceiros. A fórmula central (banda ÷ tamanho, prática ≈ 75%), a régua de 6 vs 30 tokens/s e os exemplos de memória em uso vêm principalmente do canal ViktorKav. Os tokens por segundo medidos vêm dos canais e sites listados abaixo. As fichas de banda das placas vêm da documentação oficial dos fabricantes.

• ViktorKav (@VKav) — fórmula, régua e exemplos. A Apple tomou a IA local da NVIDIA · A IA local certa para 4, 8 e 16 GB · canal
• Alex Ziskind (@AZisk) — 5090 vs 5080 vs laptop vs Mac, cluster de Mac mini. canal
• Jeff Geerling — Mac Studio em cluster por Thunderbolt 5. canal · write-up
• NetworkChuck — 5 Mac Studio em rede: a queda de 117 para 29 tokens/s. canal
• ttio2tech — 3090 vs 5090 no mesmo modelo de 27B.
• MyAIHardware — tabela de llama.cpp em 5090 / 4090 / 3090 / Mac. benchmarks
• Unsloth — tamanhos e qualidade das compressões GGUF. Dynamic 3.0 GGUFs
• HWCooling e Phoronix — gráficos integrados e o gargalo de banda. HWCooling · Phoronix

O que esta página não é

• Não é benchmark. É estimativa de ordem de grandeza para decidir uma compra. Números reais dependem do programa, da versão, do contexto e da configuração.
• A regra dos 75% é otimista em modelo pequeno. Num modelo de 8 bilhões a eficiência real observada fica mais perto de 55% do teto; em modelo grande, a regra se aproxima bem.
• Só cobre a geração da resposta. A leitura do seu prompt depende do poder de cálculo da GPU e não entra nesta conta.
• Nenhum dos canais citados endossa esta ferramenta. A medição é deles; a conta e o texto são nossos.
• Se a ficha oficial da sua máquina divergir de um preset, confie na ficha e use o modo Customizado.

Como citar

StudyMarkets. IA local: o que a sua máquina realmente roda, 2026. Fórmula de geração: banda de memória ÷ tamanho lido por token (ViktorKav, “A Apple tomou a IA local da NVIDIA”, YouTube). Tokens por segundo medidos pelos canais e sites citados na página.