論文の概要: Diverse Motion Customization via Control-based Dynamic Optimization
- arxiv url: http://arxiv.org/abs/2610.07911v1
- Date: Tue, 06 Oct 2026 07:55:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 02:58:29.877593
- Title: Diverse Motion Customization via Control-based Dynamic Optimization
- Title(参考訳): 制御に基づく動的最適化による横動きのカスタマイズ
- Abstract要約: 制御ベースのモーションカスタマイズは、コンテンツ漏洩に対して構造的に堅牢な、原則化されたトレーニングフレームワークである。
この定式化の下では、カスタマイズされたビデオは、目標運動を取得するが、事前訓練されたモデルのプロンプト条件分布内に留まる。
大規模な実験により、CMCはコンテンツ漏洩を効果的に軽減し、競合する動きの忠実性を達成することが示されている。
- 参考スコア(独自算出の注目度): 18.28053263463713
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite recent advances in video generation, motion customization remains challenging due to content leakage, where appearance attributes from the reference video unintentionally propagate into the generated output. We identify this issue as a consequence of the generative process collapsing toward the reference video, which arises from formulating the learning objective as a direct regression on the reference. To address this, we propose Control-based Motion Customization (CMC), a principled training framework that is structurally robust to content leakage. Our key idea is to steer generative dynamics toward desired motion while avoiding collapse toward the reference video, which we formalize using Stochastic Optimal Control (SOC). Under this formulation, customized videos acquire the target motion yet remain within the pre-trained model's prompt-conditional distribution, where appearance is determined by the text prompt rather than the reference video. Furthermore, to improve efficiency, we tailor the SOC formulation to motion customization by eliminating the need for an explicit reward and introducing a timestep-adaptive motion cost that focuses only on early generative stages, accelerating training by 2.5 times. Extensive experiments demonstrate that CMC effectively mitigates content leakage and achieves competitive motion fidelity while preserving the diversity of the base model across diverse scenarios.
- Abstract(参考訳): 近年の映像生成の進歩にもかかわらず、コンテンツリークによる動きのカスタマイズは依然として困難であり、参照ビデオの外観属性が生成した出力に意図せずに伝播する。
この問題は,学習目的を参照の直接回帰として定式化することから生じる参照ビデオに向かって崩壊する生成過程の結果である。
そこで本稿では,コンテンツリークに対して構造的に堅牢なトレーニングフレームワークであるCMC(Control-based Motion Customization)を提案する。
我々のキーとなる考え方は、SOC(Stochastic Optimal Control)を用いて定式化した参照ビデオの崩壊を回避しつつ、所望の動作に向けて生成ダイナミクスを操ることである。
この定式化の下で、カスタマイズされたビデオは、目標運動を取得しながら、訓練済みモデルの即時条件分布内に留まり、そこでは、参照ビデオではなくテキストプロンプトによって外観が決定される。
さらに、効率を向上させるために、明示的な報酬の必要性を排除し、初期生成段階のみに焦点を当てた時間順応的な運動コストを導入し、SOC定式化を運動カスタマイズに調整し、トレーニングを2.5倍加速させる。
大規模な実験により、CMCはコンテンツ漏洩を効果的に軽減し、多様なシナリオにまたがってベースモデルの多様性を保ちながら、競合する動きの忠実性を達成している。
関連論文リスト
- MotiMotion: Motion-Controlled Video Generation with Visual Reasoning [49.243234645532745]
本稿では,動作制御を次世代問題として再定義するフレームワークであるMotiMotionを紹介する。
因果的基盤とコモンセンスと一貫性のある相互作用を促進するために,学習不要な視覚言語推論手法を活用する。
動作の自然性をさらに向上するために,誘導強度を変調する信頼度を考慮した制御方式を提案する。
論文 参考訳(メタデータ) (2026-05-21T17:59:36Z) - VAMPO: Policy Optimization for Improving Visual Dynamics in Video Action Models [46.94937828558026]
政策最適化により映像アクションモデルにおける視覚力学を直接改善する後学習フレームワークであるVAMPOを提案する。
私たちのキーとなるアイデアは、シーケンシャルな決定プロセスとしてマルチステップの認知を定式化し、専門家の視覚力学上で定義された認知の報酬を最適化することです。
多様なシミュレートされた実世界の操作タスクにまたがって、VAMPOはタスク関連視覚力学を改善し、より下流でのアクション生成とより強力な一般化をもたらす。
論文 参考訳(メタデータ) (2026-03-19T18:04:03Z) - SAMA: Factorized Semantic Anchoring and Motion Alignment for Instruction-Guided Video Editing [76.349958946335]
本稿では,映像編集をセマンティックアンカーとモーションモデリングに分解するフレームワークであるSAMA(factorized Semantic Anchoring and Motion Alignment)を提案する。
まずセマンティックアンカリング(Semantic Anchoring)を導入し、スパースアンカフレームでのセマンティックトークンとビデオ潜在者を共同で予測することで、信頼性の高い視覚アンカを確立する。
第2に、モーションアライメントは同じバックボーンをモーション中心のビデオ復元のプリテキストタスクで事前トレーニングする。
論文 参考訳(メタデータ) (2026-03-19T17:59:51Z) - MotionCFG: Boosting Motion Dynamics via Stochastic Concept Perturbation [60.48914865049489]
MotionCFGは、ターゲットコンセプトとノイズブレーブの概念を対比することにより、モーションダイナミクスを強化するフレームワークである。
明示的な否定とは異なり、このアプローチはグローバルな意味的アイデンティティをシフトすることなく暗黙的な否定的なガイダンスを促進する。
MotionCFGは、最先端のT2Vフレームワーク間のモーションダイナミクスを一貫して改善する。
論文 参考訳(メタデータ) (2026-03-14T18:39:37Z) - Characterizing Motion Encoding in Video Diffusion Timesteps [50.13907856401258]
本研究では,映像拡散時間ステップにおける動きのエンコードについて,外観編集と動作保存のトレードオフによって検討する。
動作優位の早期体制と,その後に出現優位の体制を同定し,時間空間における動作優位の境界を導出する。
論文 参考訳(メタデータ) (2025-12-18T21:20:54Z) - Content Adaptive based Motion Alignment Framework for Learned Video Compression [72.13599533975413]
本稿では,コンテンツ適応型モーションアライメントフレームワークを提案する。
まず、粗いオフセット予測とマスク変調により動き補償を洗練させる2段階の流動誘導変形防止機構を導入する。
第2に,基準品質に基づいて歪み重みを調整するマルチ参照品質認識戦略を提案する。
第3に,スムーズな動き推定を得るために,フレームを大きさと解像度でダウンサンプルするトレーニングフリーモジュールを統合する。
論文 参考訳(メタデータ) (2025-12-15T02:51:47Z) - Motion-Aware Concept Alignment for Consistent Video Editing [57.08108545219043]
MoCA-Video (Motion-Aware Concept Alignment in Video) は、画像ドメインのセマンティックミキシングとビデオのギャップを埋めるトレーニング不要のフレームワークである。
生成されたビデオとユーザが提供した参照画像が与えられた後、MoCA-Videoは参照画像のセマンティックな特徴をビデオ内の特定のオブジェクトに注入する。
我々は、標準SSIM、画像レベルLPIPS、時間LPIPSを用いてMoCAの性能を評価し、新しいメトリクスCASS(Conceptual Alignment Shift Score)を導入し、ソースプロンプトと修正ビデオフレーム間の視覚的シフトの一貫性と有効性を評価する。
論文 参考訳(メタデータ) (2025-06-01T13:28:04Z) - Training-Free Motion-Guided Video Generation with Enhanced Temporal Consistency Using Motion Consistency Loss [35.69606926024434]
本稿では,初期雑音に基づくアプローチと新たな動きの整合性損失を組み合わせた,シンプルで効果的な解を提案する。
次に、生成したビデオに類似した特徴相関パターンを維持するために、動きの整合性損失を設計する。
このアプローチは、トレーニング不要のセットアップの利点を保ちながら、さまざまなモーションコントロールタスク間の時間的一貫性を改善する。
論文 参考訳(メタデータ) (2025-01-13T18:53:08Z) - MotionClone: Training-Free Motion Cloning for Controllable Video Generation [41.621147782128396]
MotionCloneは、参照ビデオから多目的なモーションコントロールビデオ生成までのモーションクローンを可能にする、トレーニング不要のフレームワークである。
MotionCloneは、大域的なカメラの動きと局所的な物体の動きの両方の習熟度を示し、動きの忠実さ、テキストアライメント、時間的一貫性の点で顕著に優れている。
論文 参考訳(メタデータ) (2024-06-08T03:44:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。