Fugu-MT 論文翻訳(概要): Where and When to Force: Routed Forcing for Streaming Avatars

論文の概要: Where and When to Force: Routed Forcing for Streaming Avatars

arxiv url: http://arxiv.org/abs/2609.30963v1
Date: Fri, 25 Sep 2026 08:15:11 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-28 18:27:51.289518
Title: Where and When to Force: Routed Forcing for Streaming Avatars
Title（参考訳）: アバターを流すとき、どこでいつ強制するか
Abstract要約: Self Forcingは双方向ビデオ拡散モデルを、リアルタイムストリーミングのための因果的、数ステップのジェネレータに蒸留する。本研究では, 蒸留目標をセマンティック領域とノイズステージにルートするルータ強制法を提案する。実験によると、Routed Forcingは動的に最大45%改善し、多様性は7～25%向上している。
参考スコア（独自算出の注目度）: 77.2784423144136
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Audio-driven streaming avatar generation requires real-time synthesis of speech-synchronized videos with dynamic and diverse motion. Self Forcing uses Distribution Matching Distillation (DMD) to distill bidirectional video diffusion models into causal, few-step generators for real-time streaming. However, DMD minimizes a reverse KL divergence, which is inherently mode-seeking: it causes the student to discard high-dynamic modes and collapse onto static outputs, compressing both dynamics and diversity of generated videos. We find that this collapse is region-heterogeneous: person regions involving pose and gesture variations suffer the largest diversity loss, the audio-driven mouth region shows a small loss, and the background remains nearly stable. Based on this observation, we propose Routed Forcing, which routes the distillation objective by semantic region and noise stage to improve dynamics and diversity while preserving visual quality. Specifically, (1) Where to Force: Semantic-Region Routing applies Data-Forcing Distillation (DFD), which supervises the student with real videos, to the person region where diversity collapse is most severe, while retaining DMD for the mouth and background to preserve lip synchronization and scene stability. (2) When to Force: Noise-Stage Routing activates DFD at high noise stages, where real video serves as effective supervision to inject diverse and dynamic motion patterns. At low noise stages, DMD is used to refine details, avoiding blur and artifacts from spatial differences between real video and student-generated video. Experiments show that Routed Forcing improves dynamics by up to 45% and diversity by 7-25% over Self Forcing, while preserving video quality and lip synchronization.
Abstract（参考訳）: 音声駆動のストリーミングアバター生成には、動的で多様な動きを持つ音声同期ビデオのリアルタイム合成が必要である。 Self Forcingは、DMD(Distributed Matching Distillation)を使用して、双方向ビデオ拡散モデルを、リアルタイムストリーミングのための因果的、数ステップのジェネレータに蒸留する。しかし、DMDは逆KL分岐を最小化しており、これは本質的にモード探索であり、高ダイナミックモードを捨てて静的出力に崩壊させ、生成されたビデオのダイナミック性と多様性の両方を圧縮する。ポーズやジェスチャーのバリエーションを含む人的領域は最大の多様性の喪失を被り、音声駆動の口領域はわずかな損失を示し、背景はほぼ安定している。そこで本研究では, 視覚的品質を維持しつつ, 動的・多様性の向上を図るため, 意味領域とノイズステージによって蒸留目標を導出するルータ強制法を提案する。具体的には,(1)実写映像を監督するデータ強制蒸留(DFD)を,口と背景にMDDを保持して口と背景に保持し,唇の同期とシーン安定性を維持する。 2) 実映像は多種多様な動的動きパターンを注入するための効果的な監視役として機能し, 高雑音域でDFDを活性化する。ノイズの低い段階では、DMDは細部を洗練し、実際のビデオと学生生成ビデオの空間的差異からぼやけやアーチファクトを避けるために使用される。実験の結果、ビデオの品質と唇の同期を保ちながら、Routed Forcingは最大45%、多様性は7-25%向上した。

関連論文リスト

DyMD: Preserving Interaction Dynamics through Distribution Matching Distillation in Few-Step Video World Models [25.918853227970885]
分散マッチング蒸留(DMD)は、数ステップのビデオ生成を可能にする。弱い再雑音は、教師が運動不足のロールアウトの近くに後続に集中させます。強い動きのロールアウトは、より大きなフェイクスコアのフィッティングエラーを引き起こす傾向がある。教師の指導と批判を両立させるDyMDフレームワークを提案する。
論文参考訳（メタデータ） (2026-09-25T14:47:17Z)
Uncertainty DMD: Restoring Diversity in Few-Step Autoregressive Video Distillation [52.34982929108336]
少ない段階の蒸留は自己回帰(AR)ビデオ生成の効率を向上させるが、しばしば多様性の崩壊を引き起こす。分散マッチング蒸留 (DMD) 蒸留ARビデオジェネレータのこの劣化を分析し, 自己回帰環境では, 構造的不確かさの崩壊の形をとる。
論文参考訳（メタデータ） (2026-09-10T08:59:47Z)
Mask Forcing: Improving Autoregressive Video Diffusion Distillation via Dual-Noise Masking Rollout [28.90854720290184]
DMD(Distribution Matching Distillation)を通して、訓練済み双方向ビデオ拡散モデルから因果AR学生を抽出する最近の方法生成されたビデオは、しばしば過飽和と過スムースな問題に悩まされ、視覚的品質とリアリズムが制限される。本研究では,モード崩壊を緩和するために,AR学生の自己ロールアウトを妨害するデュアルノイズマスキング・ロールアウト戦略であるマスクフォーシングを提案する。
論文参考訳（メタデータ） (2026-09-08T17:50:05Z)
DynaForcing: Overcoming Dynamic Collapse in Self-Forcing Distillation for Streaming Avatar Generation [44.15253138268671]
オーディオ駆動アバター生成には、リアルなリップシンク、表現力のあるモーション、リアルタイムストリーミングが必要である。最近の研究は、分散マッチング蒸留(DMD)による自己強制で後者を達成するが、このパラダイムは重大な失敗に苦しむ。異なるレベルに適用された3つの相補的な戦略を持つトレーニングフレームワークであるDynaForcingを提案する。
論文参考訳（メタデータ） (2026-08-18T12:29:56Z)
Data-Forcing Distillation: Restoring Diversity and Fidelity in Few-Step Video Generation [25.352409052792122]
単行のコード変更だけでMDDの多様性と忠実性を回復する単純なポストトレーニングフレームワークであるData-Forcing Distillation (DFD)を提案する。我々は,我々のフレームワークの詳細な理論的分析を行い,テキスト・ツー・ビデオ,画像・ツー・ビデオ,自動回帰ビデオ生成に対する我々のアプローチを検証する。
論文参考訳（メタデータ） (2026-06-16T20:38:30Z)
SGMD: Score Gradient Matching Distillation for Few-Step Video Diffusion Distillation [57.297118390628384]
分散マッチング蒸留(DMD)は、数ステップのビデオ拡散モデルにおいて、推論を加速するための広く使われているパラダイムである。 textbfScore Gradient Matching Distillation (SGMD)を提案する。教師の停止段階のフィッシャーを安定した分布マッチングの目的として使用しながら、教師に対して偽スコアを直接最適化することで、偽スコアの視点を採用する。時間的一貫性を維持しつつ、4段階蒸留モデルの運動力学を大幅に改善する。
論文参考訳（メタデータ） (2026-05-28T15:50:55Z)
IDOL: Unified Dual-Modal Latent Diffusion for Human-Centric Joint Video-Depth Generation [136.5813547244979]
高品質な人中心型ビデオ深度生成のためのIDOL(unIfied Dual-mOdal Latent diffusion)を提案する。我々のIDOLは2つの新しい設計で構成されている。第一に、デュアルモーダル生成を可能にし、ビデオと深度生成の間の情報交換を最大化する。次に,映像と深度特徴運動場との整合性を実現する動きの整合性損失を提案する。
論文参考訳（メタデータ） (2024-07-15T17:36:54Z)
LaMD: Latent Motion Diffusion for Image-Conditional Video Generation [63.34574080016687]
LaMDフレームワークは、モーション分解されたビデオオートエンコーダと拡散に基づくモーションジェネレータで構成される。 LaMDは、BAIR、Landscape、NATOPS、MUG、CATER-GENなど、さまざまなベンチマークデータセットで高品質なビデオを生成する。
論文参考訳（メタデータ） (2023-04-23T10:32:32Z)
DiffMesh: A Motion-aware Diffusion Framework for Human Mesh Recovery from Videos [20.895221536570627]
ヒューマンメッシュリカバリ(Human Mesh recovery, HMR)は、さまざまな現実世界のアプリケーションに対して、リッチな人体情報を提供する。ビデオベースのアプローチはこの問題を緩和するために時間的情報を活用する。 DiffMeshはビデオベースのHMRのための革新的な動き認識型拡散型フレームワークである。
論文参考訳（メタデータ） (2023-03-23T16:15:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。