A DeepSeek abriu em 20 de outubro de 2026 o código do DeepInfer, a camada de software que faz seus modelos responderem em produção. Inferência é o nome dessa etapa, em que o modelo já treinado devolve a resposta a um pedido, e é ali que mora boa parte da conta de operar IA. A ferramenta faz o DeepSeek-V4.1-Flash responder mais rápido e ocupar menos placa, e chega ao público sob licença Apache 2.0. Em 2 de novembro de 2026, o repositório somava 24.992 estrelas e 3.034 forks no GitHub.
O que é o DeepInfer
O DeepInfer é o motor que fica entre o modelo e o hardware. Ele recebe os pedidos, organiza os lotes, decide o que cada GPU faz e devolve os tokens. A versão aberta traz apenas inferência offline do V4.1-Flash, o modelo que a DeepSeek usa em serviços de agente e de programação. Não é um pacote que sobe em qualquer servidor: o README lista como requisitos Linux, GCC 13 ou superior, Python 3.12 e CUDA 13 (ou CANN 9.2, no caso do Ascend da Huawei).
A raiz é conhecida. Segundo o próprio repositório, o projeto foi construído principalmente sobre o vLLM, com inspiração no SGLang e no TensorRT-LLM. A diferença de tração é grande: o vLLM tem 96.136 estrelas e o SGLang, 38.375, ambos sob Apache 2.0 (contagem em 2 de novembro de 2026). O DeepInfer chega a 24.992 estrelas em duas semanas, número que mede interesse, não maturidade: são apenas cinco commits no total.
O que justifica o interesse é o uso que a DeepSeek faz da ferramenta. Ela não é projeto de laboratório: é o que roda por trás da API da empresa. Abrir esse código entrega às equipes de infraestrutura o mesmo desenho que a DeepSeek usa para atender muita gente com menos placa, e isso vale para quem já escolheu hospedar o V4.1-Flash por conta própria.
Tecnologia e a conta do custo
O sistema foi desenhado em torno de três metas declaradas no documento de implantação: rodar em aceleradores de fabricantes diferentes, montar prefill em máquinas comuns de 8 GPUs e decode em supernós de 64 a 128, e manter o cache de contexto (KV cache) por mais de 72 horas. Prefill é a leitura do pedido; decode, a geração da resposta. Separar as duas etapas permite dimensionar cada uma pelo tipo de carga.
Os números de produção também vieram a público. A DeepSeek afirma que um único cluster serve 155 trilhões de tokens por dia, com receita de US$ 38 por GPU-hora a preços de vale. São dados da própria empresa, não de medição independente, e a metodologia não foi detalhada. O mesmo documento diz que a menor unidade de implantação eficiente é de 64 GPUs para prefill mais 64 para decode.
Recursos já existentes
A lista de recursos endereça exatamente o que encarece a operação. Os principais:
- Kernels otimizados herdados de projetos da casa, como FlashMLA, DeepGEMM, DeepEP e TileKernels.
- Decodificação especulativa com verificação agendada por confiança (DSpark), que aproveita tokens de rascunho para acelerar a resposta.
- SWA bounded replay, que reduz o trabalho de prefill ao repetir apenas um trecho final do contexto.
- Agendamento assíncrono, que sobrepõe a fila de lotes na CPU à execução na GPU.
- Inferência invariante a lote e amostragem determinística, para que a mesma entrada devolva a mesma saída.
- Saídas estruturadas por regex, JSON Schema ou gramática EBNF.
O que está por vir
Duas peças centrais continuam fechadas. O sistema de KV cache e o balanceamento de carga entre réplicas dependem da infraestrutura interna da DeepSeek e não foram publicados. Sem elas, quem quiser repetir a arquitetura completa precisa resolver por conta própria o armazenamento do cache e a distribuição de pedidos. A empresa diz que o código de inferência dos próximos modelos e as otimizações seguintes seguirão sendo abertos no DeepInfer, e publicou junto o deepseek-recipe, componente sob licença MIT que converte pedidos entre protocolos de API. O anúncio saiu na mesma semana em que os Estados Unidos proibiram agências federais de usar serviços da DeepSeek, segundo o TechTarget.
Principais dúvidas sobre o projeto
Dá para rodar em uma máquina comum? Não. O release suporta GPUs Nvidia SM100, a linha Blackwell voltada a data centers, e NPUs Huawei Ascend 950. Placas de consumo não estão na lista.
O código é gratuito? O uso do código é livre sob Apache 2.0, licença que permite uso comercial, modificação e redistribuição. O que não sai de graça é a infraestrutura: a configuração descrita pela DeepSeek pressupõe dezenas de aceleradores.
Serve para outros modelos? Não nesta versão. Apenas o V4.1-Flash está na lista de modelos suportados. Para outros modelos abertos, o caminho continua sendo vLLM ou SGLang.
Qual a diferença para o vLLM? O DeepInfer é derivado dele, mas embute otimizações específicas para os modelos DeepSeek, inclusive kernels e escalonamento próprios.
O DeepInfer mostra como a DeepSeek consegue vender token barato: não só pelo modelo, mas pelo sistema que o serve. Quem opera o V4.1-Flash em casa ganha uma referência de engenharia. Quem esperava uma alternativa de uso geral ainda vai precisar do vLLM.
Fonte: DeepSeek
