論文の概要: Parasitic Co-Denoising: Unlocking 3D Human Motion Generation in a Frozen Video Diffusion Model
- arxiv url: http://arxiv.org/abs/2610.03047v1
- Date: Fri, 02 Oct 2026 09:28:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 00:14:30.299778
- Title: Parasitic Co-Denoising: Unlocking 3D Human Motion Generation in a Frozen Video Diffusion Model
- Title(参考訳): パラサイト・コノナイジング:凍結ビデオ拡散モデルにおける3次元人体運動生成のアンロック
- Abstract要約: 復調可能な運動信号はその中間状態にあることを示す。
そこで本研究では,ホストモデルから動きを復号化するためのパラダイムである寄生コデノジングを導入する。
高速なフローマッチングデコーダであるParasitic Motion Decoder (PMD) をインスタンス化する。
- 参考スコア(独自算出の注目度): 40.680378246956614
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite never being supervised on explicit 3D motion, large-scale text-to-video diffusion models synthesize realistic human motion in their generated videos. We ask whether this implicit knowledge can be turned into explicit 3D motion generation, without training a separate motion model. Probing a frozen Wan2.1 reveals that a recoverable motion signal is present in its intermediate states across the entire denoising schedule, not confined to the clean output. Motivated by this, we introduce parasitic co-denoising, a paradigm in which motion is decoded from the host model along its denoising schedule rather than produced by an independent generator. We instantiate it as the Parasitic Motion Decoder (PMD), an efficient flow-matching decoder that shares the host's noise schedule and reads its intermediate features through a $σ$-adaptive multi-layer fusion, leaving the host unmodified. Drawing its coverage from the host rather than from motion data, PMD leads dedicated motion generators on text-motion alignment at a small fraction of their trainable parameters, while producing paired video and motion in a single pass that motion-only baselines cannot match.
- Abstract(参考訳): 明示的な3Dモーションを監督することはないが、大規模なテキストとビデオの拡散モデルは、生成されたビデオの中で現実的な人間のモーションを合成する。
我々は,この暗黙の知識を,個別の運動モデルを訓練することなく,明示的な3次元運動生成に変換できるかどうかを問う。
凍結したWan2.1を探索すると、回復可能な運動信号がその中間状態にあり、クリーンな出力に制限されないことが分かる。
そこで本研究では, 独立発生器ではなく, ホストモデルから動きを復号化するためのパラダイムとして, 寄生的コデノーミングを導入する。
そこで我々はParasitic Motion Decoder (PMD) として、ホストのノイズスケジュールを共有し、その中間機能を$σ$-adaptive Multi-layer fusion を通じて読み出し、ホストを無修正のままにする効率的なフローマッチングデコーダをインスタンス化する。
PMDは、モーションデータではなくホストからカバー範囲を描画し、トレーニング可能なパラメータのごく一部でテキストモーションアライメントに専用のモーションジェネレータを誘導する一方で、モーションのみのベースラインが一致しない単一のパスでペア化されたビデオとモーションを生成する。
関連論文リスト
- World2Motion: Turning Video World Models into 3D Human Motion Generators [33.66283404630084]
We present World2Motion, a framework that a scene-aware human motion and corresponding video from a single image and a text prompt。
この適応には、ペアビデオモーションデータの不足と、生成された動きにおける時間的不安定という2つの課題がある。
マルチソースインタラクションベンチマークの実験では、World2Motionは評価された3Dモーションジェネレータと比較して、テキストアライメントとシーンインタラクションが優れていることが示されている。
論文 参考訳(メタデータ) (2026-09-29T08:30:04Z) - IM-Animation: An Implicit Motion Representation for Identity-decoupled Character Animation [58.297199313494]
インプシット法は、動画から直接動作の意味をキャプチャするが、動作と外観の絡み合いやアイデンティティの漏洩に悩まされる。
本稿では,フレームごとの動作をコンパクトな1次元モーショントークンに圧縮する新しい暗黙の動作表現を提案する。
本手法では,3段階のトレーニング戦略を用いて,トレーニング効率を高め,高い忠実性を確保する。
論文 参考訳(メタデータ) (2026-02-07T11:17:20Z) - DEMO: Disentangled Motion Latent Flow Matching for Fine-Grained Controllable Talking Portrait Synthesis [15.304037069236536]
DEMOは、音声駆動型トーキングヘッドビデオ合成のためのフローマッチング生成フレームワークである。
唇の動き、頭部のポーズ、視線を高度に制御する。
論文 参考訳(メタデータ) (2025-10-12T15:10:33Z) - M2DAO-Talker: Harmonizing Multi-granular Motion Decoupling and Alternating Optimization for Talking-head Generation [65.48046909056468]
我々は,音声音声生成をビデオ前処理,モーション表現,レンダリング再構成を含む統一的なフレームワークに再構成する。
M2DAO-Talkerは2.43dBのPSNRの改善とユーザ評価ビデオの画質0.64アップで最先端のパフォーマンスを実現している。
論文 参考訳(メタデータ) (2025-07-11T04:48:12Z) - MotionMix: Weakly-Supervised Diffusion for Controllable Motion
Generation [19.999239668765885]
MotionMixはノイズと無注釈の両方のモーションシーケンスを利用する弱い教師付き拡散モデルである。
我々のフレームワークは、テキスト・トゥ・モーション、アクション・トゥ・モーション、音楽・トゥ・ダンスのタスクにおける最先端のパフォーマンスを一貫して達成する。
論文 参考訳(メタデータ) (2024-01-20T04:58:06Z) - LaMD: Latent Motion Diffusion for Image-Conditional Video Generation [63.34574080016687]
LaMDフレームワークは、モーション分解されたビデオオートエンコーダと拡散に基づくモーションジェネレータで構成される。
LaMDは、BAIR、Landscape、NATOPS、MUG、CATER-GENなど、さまざまなベンチマークデータセットで高品質なビデオを生成する。
論文 参考訳(メタデータ) (2023-04-23T10:32:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。