O modelo fundacional multimodal Tencent Hy4 teve seus pesos e código de inferência disponibilizados publicamente pela Tencent. O sistema foi projetado para processar conjuntamente fluxos de vídeo, faixas de áudio e documentos de texto dentro de uma única rede neural.
O projeto Tencent Hy4 permite a análise integrada de dados temporais e espaciais sem depender de múltiplos pipelines desconectados para cada modalidade sensorial.
Arquitetura de atenção temporal estendida
Modelos multimodais tradicionais costumam utilizar componentes separados para cada tipo de entrada: um módulo de transcrição automática converte o áudio em texto, enquanto um codificador de visão computacional analisa quadros estáticos isolados. Essa divisão dificulta a interpretação de contextos contínuos onde a ação visual depende do ritmo da fala ou de ruídos do ambiente.
O Hy4 emprega um codificador visual com janelas de atenção temporal estendidas. A rede processa sequências contínuas de vídeo analisando a correlação entre as mudanças de cena e os canais de áudio no mesmo bloco de tensores. Essa estrutura é direcionada para tarefas de sumarização de gravações longas, indexação de bibliotecas de vídeo e suporte a instruções visuais passo a passo.
Na camada de tokenização, os dados de vídeo são subdivididos em blocos tridimensionais espaço-temporais (spatio-temporal patches) através de uma variante do Vision Transformer (ViT). O áudio é convertido em espectrogramas log-mel e mapeado em sequências temporais intercaladas com os tokens visuais. Para lidar com fluxos de mídia extensos sem estouro de memória, o modelo utiliza a biblioteca FlashAttention-2 e esquemas de posicionamento rotativo (RoPE) escalonados para contextos de até 128 mil tokens.
Nos benchmarks padronizados de raciocínio multimodal (como Video-MME e MMMU), o modelo registrou desempenhos alinhados com soluções comerciais de processamento de mídia.
Disponibilidade de pesos e execução local no Linux
Os pesos do modelo foram publicados na organização da Tencent no Hugging Face, com implementações de referência no GitHub da Tencent.
A publicação dos arquivos sob termos de uso comunitário viabiliza a execução de inferência em servidores próprios rodando Linux, sem a necessidade de envio de dados confidenciais para APIs de terceiros. O repositório oferece compatibilidade com frameworks de aceleração como vLLM e Hugging Face Transformers, permitindo quantização em formatos FP8 e INT4 para reduzir a demanda de memória VRAM em placas gráficas de estações de trabalho e data centers.
Para ambientes corporativos que operam clusters locais com orquestração Kubernetes, a disponibilização dos artefatos em pesos abertos facilita o empacotamento em contêineres e a integração com fluxos de trabalho internos de processamento de mídia.
Fique por dentro das principais novidades da semana sobre tecnologia e Linux: receba nossa newsletter!
