論文の概要: DynaForcing: Overcoming Dynamic Collapse in Self-Forcing Distillation for Streaming Avatar Generation
- arxiv url: http://arxiv.org/abs/2608.17707v1
- Date: Tue, 18 Aug 2026 12:29:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-19 21:40:53.333586
- Title: DynaForcing: Overcoming Dynamic Collapse in Self-Forcing Distillation for Streaming Avatar Generation
- Title（参考訳）: ダイナフォース: ストリーミングアバター生成のための自己強制蒸留における動的崩壊の克服
- Abstract要約: オーディオ駆動アバター生成には、リアルなリップシンク、表現力のあるモーション、リアルタイムストリーミングが必要である。
最近の研究は、分散マッチング蒸留(DMD)による自己強制で後者を達成するが、このパラダイムは重大な失敗に苦しむ。
異なるレベルに適用された3つの相補的な戦略を持つトレーニングフレームワークであるDynaForcingを提案する。
- 参考スコア（独自算出の注目度）: 44.15253138268671
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Audio-driven avatar generation requires realistic lip-sync, expressive motion, and real-time streaming. Recent work achieves the latter via self-forcing with Distribution Matching Distillation (DMD), but this paradigm suffers from a critical failure that has not been systematically characterized: dynamic collapse, where the student model converges to a near-static optimum with high perceptual quality but severely suppressed temporal dynamics. We trace this to two causes: the reverse KL objective in DMD, which biases toward low-motion modes, and unanchored self-conditioning, which creates a feedback loop that amplifies collapse. This is especially harmful for avatars, where even subtle motion loss breaks lip-sync and expression. To address this, we propose DynaForcing, a training framework with three complementary strategies applied at different levels. Specifically, Hybrid Forcing anchors rollouts to ground-truth dynamics at the data level to break the feedback loop. Dynamics-Aware Reward Regularization introduces explicit motion rewards via the RL interpretation of DMD to counteract the reverse KL bias at the loss level. Reference Perturbation perturbs reference images to decouple identity from static details, forcing the model to rely on audio for motion at the conditioning level. We further introduce computation graph pruning and gradient replay, reducing the GPU footprint of self-forcing by over an order of magnitude. Experiments show that DynaForcing recovers dynamics to teacher-comparable levels (Dyn-Deg: 0.31 -> 0.73, Sync-C: 7.03 -> 7.68) while improving visual quality, resolving the quality-dynamics trade-off throughout training without early stopping.
- Abstract（参考訳）: オーディオ駆動アバター生成には、リアルなリップシンク、表現力のあるモーション、リアルタイムストリーミングが必要である。
最近の研究はDMD (Self-forcing with Distribution Matching Distillation) を通じて後者を達成しているが、このパラダイムは体系的に特徴付けられていない致命的な失敗に悩まされている。
我々は、低運動モードに偏りを持つMDDの逆KL目標と、崩壊を増幅するフィードバックループを生成するアンアンコンディショニングの2つの原因を辿った。
これは特に、微妙な動きの喪失がリップシンクや表情を損なうアバターにとって有害である。
そこで我々は,異なるレベルに適用された3つの相補的戦略を持つトレーニングフレームワークDynaForcingを提案する。
具体的には、Hybrid Forcingアンカーは、フィードバックループを壊すために、データレベルでグランドトゥルースダイナミクスにロールアウトする。
Dynamics-Aware Reward Regularizationは、損失レベルで逆KLバイアスに対処するために、MDDのRL解釈を通じて明示的な動き報酬を導入する。
参照摂動パーターブは画像を参照して静的な詳細からアイデンティティを分離し、条件付けレベルでの動作に音声を頼らざるを得ない。
さらに計算グラフのプルーニングと勾配再生を導入し、GPUのフットプリントを桁違いに削減する。
実験の結果、Dyn-Deg: 0.31 -> 0.73, Sync-C: 7.03 -> 7.68) は視覚的品質を改善しつつ、早期に停止することなく、トレーニングを通して品質と力学のトレードオフを解消することがわかった。
関連論文リスト
- SGMD: Score Gradient Matching Distillation for Few-Step Video Diffusion Distillation [57.297118390628384]
分散マッチング蒸留(DMD)は、数ステップのビデオ拡散モデルにおいて、推論を加速するための広く使われているパラダイムである。
textbfScore Gradient Matching Distillation (SGMD)を提案する。
教師の停止段階のフィッシャーを安定した分布マッチングの目的として使用しながら、教師に対して偽スコアを直接最適化することで、偽スコアの視点を採用する。
時間的一貫性を維持しつつ、4段階蒸留モデルの運動力学を大幅に改善する。
論文 参考訳（メタデータ） (2026-05-28T15:50:55Z) - Natural Human Motion Recovery by Aligning High-Order Temporal Dynamics from Monocular Videos [65.51845732149306]
本稿では,HTD-Refineについて紹介する。HTD-Refineは人体運動回復(HMR)パイプラインを高次時間ダイナミクスを用いて拡張する後処理フレームワークである。
システムの中心となるPVA-Netは,モノクロ映像から直接接合部2次元位置,3次元速度,3次元加速度を推定する時間変換器である。
論文 参考訳（メタデータ） (2026-05-26T11:38:36Z) - Bézier Degradation Modeling for LiDAR-based Human Motion Capture [21.718401755735773]
BMLiCapは、時間圧縮可能なベジエ曲線を用いて動きをモデル化する粗大なフレームワークである。
複雑なシーンにおける最先端の精度と時間的連続性を達成する。
論文 参考訳（メタデータ） (2026-05-19T09:56:52Z) - EgoFlow: Gradient-Guided Flow Matching for Egocentric 6DoF Object Motion Generation [47.32597153743819]
マルチモーダルなエゴセントリックな観測を前提とした,現実的かつ物理的に可視な軌道を合成するフローマッチングフレームワークであるEgoFlowを提案する。
この結果は,スケーラブルで物理的に基盤付けられた自我中心の動作理解のためのフローベース生成モデリングの可能性を浮き彫りにした。
論文 参考訳（メタデータ） (2026-04-01T21:43:57Z) - End-to-End Training for Autoregressive Video Diffusion via Self-Resampling [63.84672807009907]
自己回帰ビデオ拡散モデルは、世界シミュレーションの可能性を保っているが、列車テストミスマッチに起因する露出バイアスに弱い。
教師なしのフレームワークであるResampling Forcingを導入し、スクラッチから大規模まで自動回帰ビデオモデルのトレーニングを可能にする。
論文 参考訳（メタデータ） (2025-12-17T18:53:29Z) - Reward Forcing: Efficient Streaming Video Generation with Rewarded Distribution Matching Distillation [69.57572900337176]
本稿では,効率的なストリーミングビデオ生成のための新しいフレームワークであるReward Forcingを紹介する。
EMA-Sinkトークンは、長期コンテキストと最近のダイナミクスの両方をキャプチャし、初期フレームコピーを防ぐ。
Re-DMDは、視覚言語モデルにより評価されたより大きなダイナミックスを持つサンプルを優先順位付けすることで、モデル出力分布を高逆領域にバイアスする。
論文 参考訳（メタデータ） (2025-12-04T11:12:13Z) - MUT3R: Motion-aware Updating Transformer for Dynamic 3D Reconstruction [24.474529522394405]
MUT3Rは,注意由来の動作キューを適用して,推論中の動的コンテンツを抑制する学習自由フレームワークである。
我々はモデルを再訓練したり微調整したりせず、事前訓練されたトランスフォーマーが自身の動きの手がかりを診断し、修正する。
論文 参考訳（メタデータ） (2025-12-03T16:36:53Z) - ConsistTalk: Intensity Controllable Temporally Consistent Talking Head Generation with Diffusion Noise Search [8.993664585683055]
拡散雑音探索を用いた新しい強度制御型音声ヘッド生成フレームワークである textbfTalk を紹介する。
まず,動作特徴を静的な外観から切り離すスタブファン光フロー誘導時間モジュール(OFT)を提案する。
第2に,マルチモーダル・教師・学生の知識蒸留により得られたtextbfAudio-to-Intensity (A2I) モデルを提案する。
論文 参考訳（メタデータ） (2025-11-10T08:28:13Z) - MoDiT: Learning Highly Consistent 3D Motion Coefficients with Diffusion Transformer for Talking Head Generation [16.202732894319084]
MoDiT は 3D Morphable Model (3DMM) と Diffusion-based Transformer を組み合わせた新しいフレームワークである。
i) 時間的注意と偏りのある自己/横断的意識のメカニズムを改良した階層的認知戦略により, モデルによる唇同期の洗練が可能となった。
2) 空間的制約を明確化し, 正確な3次元インフォームド光流予測を実現するための3次元MM係数の統合。
論文 参考訳（メタデータ） (2025-07-07T15:13:46Z) - ReCoM: Realistic Co-Speech Motion Generation with Recurrent Embedded Transformer [58.49950218437718]
音声に同期した高忠実で一般化可能な人体動作を生成するための効率的なフレームワークであるReCoMを提案する。
Recurrent Embedded Transformer (RET)は、動的埋め込み正規化(DER)をViT(Vit)コアアーキテクチャに統合する。
モデルロバスト性を高めるため,ノイズ抵抗とクロスドメイン一般化の二重性を持つモデルに,提案したDER戦略を取り入れた。
論文 参考訳（メタデータ） (2025-03-27T16:39:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。