NVIDIA Research e pesquisadores da ETH Zurich apresentaram ARDY, um modelo de difusão autorregressiva projetado para gerar movimentos humanos 3D em tempo real dentro de aplicações interativas. O trabalho foi apresentado no contexto da comunidade gráfica e promete combinar controle fino por texto com restrições cinemáticas de longo alcance.
O que é ARDY
ARDY usa um framework de geração em streaming e uma representação híbrida que une características explícitas da raiz do personagem a um embedding latente do corpo. A arquitetura inclui um denoiser transformador autorregressivo em dois estágios com contexto de história variável, o que permite manter coerência ao longo de horizontes temporais prolongados.
ARDY gera movimentos humanos 3D em tempo real com prompts de texto online e restrições cinemáticas de longo alcance.
Controle e condicionamento
O modelo é condicionado diretamente por rótulos de texto e por restrições cinemáticas amostradas de poses reais. Entre os tipos de controle suportados estão trajetórias de raiz e waypoints, keyframes de corpo inteiro, posições e rotações esparsas de articulações e restrições de efetores finais. Essa flexibilidade viabiliza composição de restrições e ajustes em tempo real sem interromper a geração contínua.
Aplicações em jogos, simulação e robótica
A proposta enfatiza usos interativos: animação e controle de personagens em jogos via mouse e teclado, fluxos de trabalho de simulação e até controle de robôs humanoides. Segundo a descrição do projeto, ARDY demonstra geração em streaming infinita, texto-para-movimento online, suporte a trajetórias e keyframes, além de integrações para controle interativo e simulações.
Treinamento e limites apontados
O sistema foi treinado em um grande conjunto de dados de capture de movimento e avaliado em cenários que combinam sinais textuais e restrições cinemáticas provenientes de poses reais. A proposta busca preencher a lacuna entre métodos offline — que oferecem controle preciso mas não a velocidade exigida por interatividade — e abordagens online que muitas vezes sacrificam controle ou têm dificuldades com objetivos semânticos complexos e horizontes longos.
ARDY reúne técnicas de representação e geração autorregressiva para oferecer uma alternativa com foco em responsividade e controle cinemático, com potencial aplicação direta em pipelines de animação interativa e controle de agentes em ambientes simulados.
Veja também no Neriverso
Fonte: NVIDIA Research
