Quanta VRAM é necessária para inteligência artificial local?

Não existe uma quantidade única de VRAM para inteligência artificial local. A necessidade depende do número de parâmetros, precisão dos pesos, quantização, tamanho do contexto, lote, cache e tarefa. Modelos pequenos e quantizados podem funcionar com pouca memória; modelos maiores ou contextos longos podem exigir dezenas de gigabytes ou múltiplas GPUs. A quantização em 8 ou 4 bits reduz o consumo, enquanto offload para RAM ou CPU permite carregar modelos maiores com perda de velocidade. Ferramentas atuais medem a memória necessária antes da execução, mas o resultado varia por versão e configuração. Escolha primeiro os modelos e o contexto desejados, verifique requisitos e deixe margem para atualizações e outras aplicações.