A conta da inteligência artificial generativa está ficando difícil de ignorar. Empresas que colocam agentes e assistentes de IA em produção precisam lidar com modelos cada vez mais capazes, caros e consumidores de recursos computacionais, enquanto o retorno financeiro desses sistemas ainda é incerto. A Nvidia acredita ter encontrado uma forma de aliviar esse problema sem exigir que as empresas abandonem os modelos de ponta: escolher melhor qual modelo responde a cada solicitação.
É essa a proposta do NeMo Switchyard, nova plataforma de software apresentada pela Nvidia. O sistema funciona como uma camada intermediária entre a aplicação e os servidores de inferência, decidindo para qual modelo cada requisição deve ser encaminhada.
Nem toda pergunta precisa de um modelo gigante
O princípio por trás do Switchyard é que uma aplicação de IA raramente precisa do modelo mais poderoso disponível para todas as tarefas. Pedir a um modelo de ponta para resumir uma página, reformular um e-mail ou gerar uma pequena descrição pode funcionar muito bem, mas também representa um uso pouco eficiente de recursos.
Modelos menores, especializados ou executados localmente podem resolver essas tarefas com uma fração do custo e da latência. O problema está em identificar automaticamente quando eles são suficientes e quando uma solicitação realmente exige um modelo mais sofisticado.
O Switchyard tenta assumir justamente essa função. Em vez de tratar todas as requisições da mesma maneira, o roteador pode encaminhá-las para diferentes modelos de acordo com critérios como custo, velocidade e qualidade da resposta.
Segundo a Nvidia, uma configuração do Switchyard conseguiu reduzir em até 74% o custo de conclusão das tarefas em comparação com o uso exclusivo do Claude Opus 4.8. O ganho veio acompanhado de uma queda de aproximadamente seis pontos na precisão, mostrando que a economia envolve uma escolha entre qualidade e custo.
O preço por token conta apenas parte da história
Existe uma diferença importante entre pagar menos por token e gastar menos para concluir uma tarefa. Um modelo dez vezes mais barato pode consumir dez vezes mais tokens para chegar ao mesmo resultado, anulando a vantagem inicial.
Por isso, a Nvidia destaca o custo de conclusão como uma métrica mais relevante para empresas. A lógica também ajuda a explicar a estratégia da companhia de desenvolver modelos menores e especializados.
Um exemplo é o Nemotron Parse, modelo de aproximadamente 1 bilhão de parâmetros voltado à interpretação de PDFs, incluindo tabelas, gráficos e outros elementos visuais. Uma tarefa específica pode ser entregue a esse tipo de modelo enquanto um modelo de fronteira fica reservado para problemas que realmente exigem sua capacidade.
O novo Nemotron 3.5-30B-A3B-Lightning segue uma filosofia semelhante. Apesar de possuir 30 bilhões de parâmetros, sua arquitetura MoE permite que apenas uma parte deles seja ativada durante cada operação, favorecendo baixa latência e eficiência.
A Nvidia não inventou o roteamento
A ideia de selecionar modelos dinamicamente já vinha sendo utilizada pelo mercado. Quando a OpenAI lançou o GPT-5, por exemplo, o ChatGPT passou a encaminhar determinadas solicitações para diferentes versões do modelo de acordo com sua complexidade.
Empresas também estão experimentando arquiteturas semelhantes para controlar gastos. A AT&T, segundo relatos recentes, utiliza um roteador capaz de alternar entre modelos proprietários e open weights. Em determinadas aplicações, a companhia teria conseguido reduzir os custos em até 80% ou 90%.
O que a Nvidia está fazendo é transformar esse conceito em uma infraestrutura que pode ser incorporada diretamente aos ambientes corporativos.
O verdadeiro desafio está em saber quando trocar de modelo
Construir um roteador é relativamente simples quando as tarefas são previsíveis. O problema aparece quando uma solicitação pode exigir diferentes níveis de raciocínio.
Um agente pode começar com um modelo pequeno, perceber que a tarefa é mais complexa e então recorrer a um modelo maior. Também pode acontecer o contrário: um modelo poderoso pode coordenar agentes especializados e distribuir partes do trabalho entre modelos menores.
Essa possibilidade aproxima o Switchyard de uma tendência maior no desenvolvimento de agentes de IA: modelos de fronteira atuando como orquestradores, enquanto modelos menores executam tarefas específicas.
Com o tempo, esses próprios agentes poderiam identificar quais tarefas podem ser delegadas, gerar dados para treinamento e ajudar a aprimorar o roteamento.
A aposta da Nvidia, portanto, não está apenas em vender mais GPUs. Se a próxima etapa da IA corporativa depender de utilizar cada modelo exatamente onde ele faz sentido, controlar essa distribuição também será uma peça importante da infraestrutura. Para uma empresa que domina o hardware usado para executar esses sistemas, oferecer o software que decide o que roda onde é uma extensão bastante natural desse domínio.
Fique por dentro das principais novidades da semana sobre tecnologia e Linux: receba nossa newsletter!
