Fugu-MT 論文翻訳(概要): StreamAvatar: Streaming Diffusion Models for Real-Time Interactive Human Avatars

論文の概要: StreamAvatar: Streaming Diffusion Models for Real-Time Interactive Human Avatars

arxiv url: http://arxiv.org/abs/2512.22065v1
Date: Fri, 26 Dec 2025 15:41:24 GMT
ステータス: 情報取得中
システム内更新日: 2025-12-29 11:55:14.192942
Title: StreamAvatar: Streaming Diffusion Models for Real-Time Interactive Human Avatars
Title（参考訳）: StreamAvatar: リアルタイム対話型アバターのための拡散モデル
Authors: Zhiyao Sun, Ziqiao Peng, Yifeng Ma, Yi Chen, Zhengguang Zhou, Zixiang Zhou, Guozhen Zhang, Youliang Zhang, Yuan Zhou, Qinglin Lu, Yong-Jin Liu,
Abstract要約: 本研究では,リアルタイム対話型ストリーミングに高忠実度映像拡散モデルを適用するための2段階の自己回帰適応・加速フレームワークを提案する。自然な話し方と聞き方の両方をコヒーレントなジェスチャーで生成できるワンショット対話型アバターモデルを開発した。提案手法は, 生成品質, リアルタイム効率, インタラクション自然性において, 既存のアプローチを超越して, 最先端性能を実現する。
参考スコア（独自算出の注目度）: 32.75338796722652
License:
Abstract: Real-time, streaming interactive avatars represent a critical yet challenging goal in digital human research. Although diffusion-based human avatar generation methods achieve remarkable success, their non-causal architecture and high computational costs make them unsuitable for streaming. Moreover, existing interactive approaches are typically limited to head-and-shoulder region, limiting their ability to produce gestures and body motions. To address these challenges, we propose a two-stage autoregressive adaptation and acceleration framework that applies autoregressive distillation and adversarial refinement to adapt a high-fidelity human video diffusion model for real-time, interactive streaming. To ensure long-term stability and consistency, we introduce three key components: a Reference Sink, a Reference-Anchored Positional Re-encoding (RAPR) strategy, and a Consistency-Aware Discriminator. Building on this framework, we develop a one-shot, interactive, human avatar model capable of generating both natural talking and listening behaviors with coherent gestures. Extensive experiments demonstrate that our method achieves state-of-the-art performance, surpassing existing approaches in generation quality, real-time efficiency, and interaction naturalness. Project page: https://streamavatar.github.io .
Abstract（参考訳）: リアルタイムでストリーミングの対話型アバターは、デジタル人間の研究において重要な目標でありながら挑戦的な目標である。拡散に基づく人間のアバター生成手法は驚くべき成功を収めるが、その非因果アーキテクチャと高い計算コストはストリーミングには適さない。さらに、既存のインタラクティブなアプローチは、通常ヘッド・アンド・ショルダー領域に限られており、ジェスチャーや身体の動きを生成する能力を制限する。これらの課題に対処するために, リアルタイムの対話型ストリーミングに高忠実度映像拡散モデルを適用するために, 自己回帰蒸留と対角補正を適用した2段階の自己回帰適応・加速フレームワークを提案する。長期的安定性と一貫性を確保するため,参照シンク,参照アンコール位置再符号化(RAPR)戦略,一貫性を考慮した識別器の3つの重要なコンポーネントを紹介する。この枠組みを基盤として,自然な話し方と聞き方の両方をコヒーレントなジェスチャーで生成できるワンショット対話型アバターモデルを構築した。大規模実験により,本手法は, 生成品質, リアルタイム効率, 相互作用自然性において, 既存の手法を超越して, 最先端の性能を実現することが実証された。プロジェクトページ: https://streamavatar.github.io 。

論文の概要: StreamAvatar: Streaming Diffusion Models for Real-Time Interactive Human Avatars

関連論文リスト