thumb modelos decisao 03
Notícias

Adeus APIs caras: Cloudflare e Amazon apostam em IAs minúsculas e locais

Acesse nossos conteúdos exclusivos!

Se há algo que aprendemos sobre Inteligência Artificial nos últimos anos, é que os Grandes Modelos de Linguagem (LLMs de Fronteira, como o GPT-4 da OpenAI ou o Claude 3.5 da Anthropic) são ferramentas poderosas. Eles conseguem escrever ensaios complexos, poetizar sobre filosofia ou analisar documentos massivos. Porém, quando se trata de criar softwares automatizados práticos, essa imensa capacidade de abstração acaba se tornando um canhão usado para matar mosquitos.

E pior: um canhão que consome muita eletricidade e dinheiro por cada chamada na API. Como resposta a essa ineficiência, nesta primeira semana de outubro, o mercado open-source testemunhou um grande marco com a popularização e lançamento de novos Modelos de Decisão (Decision Models).

O que são Modelos de Decisão?

Diferente dos gigantes generalistas, os Modelos de Decisão são projetados e treinados quase que exclusivamente para lógica binária, roteamento e acionamento de ferramentas. Você não perguntaria a esses modelos qual a capital da França; você pediria que analisassem um payload JSON e decidissem, com base em três regras, se o e-mail recebido deve ser encaminhado, deletado ou respondido com uma função específica.

Essa especialização extrema resulta em arquivos muito pequenos, que exigem uma fração minúscula de memória RAM e VRAM, permitindo que rodem localmente em hardware comum (inclusive laptops finos) ou diretamente em arquiteturas de Edge Computing (computação de borda).

Cloudflare Clef e Amazon Strands

Dois grandes players de infraestrutura decidiram abrir o código de seus competidores nessa arena. A Cloudflare anunciou o lançamento da sua família de modelos chamada “Clef”, devidamente licenciada sob os termos permissivos da Apache 2.0. Quase no mesmo dia, o laboratório da Amazon Strands revelou o “Strands Decider 2B”, um modelo de 2 bilhões de parâmetros estritamente treinado para atuar como orquestrador de múltiplas ferramentas de software.

O momento desses lançamentos não é coincidência. No recém-realizado MCP Dev Summit (Model Context Protocol) em Toronto, a principal barreira discutida para arquiteturas multi-agentes corporativas era o custo astronômico de se manter uma comunicação constante com LLMs pagos apenas para realizar decisões lógicas repetitivas.

Para administradores de sistemas, DevOps e usuários entusiastas do Linux, isso abre portas fascinantes. Estamos cada vez mais próximos de ter sistemas de terminal e ferramentas nativas no desktop que conseguem entender intenções lógicas sem precisar enviar seus dados privados pela rede para servidores da Microsoft, Anthropic ou da OpenAI.

Fique por dentro das principais novidades da semana sobre tecnologia e Linux: receba nossa newsletter!

Diolinux Ofertas - Aproveite os melhores descontos em diversos produtos!