論文の概要: MotionShift: Environment-Compatible Motion Transfer via Planner-Evaluator Synergistic Adaptation
- arxiv url: http://arxiv.org/abs/2610.25290v1
- Date: Sun, 18 Oct 2026 14:11:39 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-10-20 22:37:47.18833
- Title: MotionShift: Environment-Compatible Motion Transfer via Planner-Evaluator Synergistic Adaptation
- Title(参考訳): 運動シフト:プランナー・評価器の相乗的適応による環境適合型運動伝達
- Abstract要約: MotionShiftは、ターゲットシーンとの物理的互換性を確保しつつ、高忠実度モーショントランスファーを実現する新しいモーショントランスファーフレームワークである。
既存の軌道条件付きI2VモデルにMotionShiftを組み込むことができ、現実的なモーショントランスファー機能を持たせることができる。
- 参考スコア(独自算出の注目度): 49.94409282987661
- License:
- Abstract: Existing motion transfer methods excel at exact, rigid motion replication from reference videos to target scenes, whereas they often fail to account for the compatibility between the transferred motion and the target scene environment in accordance with physical laws. In this work, we propose MotionShift, a novel motion transfer framework that achieves high-fidelity motion transfer while ensuring physical compatibility with the target scene. In particular, we design a planner--evaluator iterative motion adaptation mechanism, in which a Large Language Model (LLM) acts as the planner to generate motion trajectories by leveraging its strong semantic reasoning capabilities, while a Vision-Language Model (VLM) serves as the evaluator to rectify the motion based on its superior visual perception and scene understanding. Through this planner--evaluator synergistic reasoning process, the motion is adapted to the target scene in a training-free manner. The adapted motion is then used as a generative condition for an image-to-video (I2V) model to render videos in the target scene. Extensive experiments demonstrate that MotionShift achieves high-fidelity and physically compatible motion transfer across diverse and complex scenes. Moreover, we show that MotionShift can be readily integrated into existing trajectory-conditioned I2V models, endowing them with realistic motion transfer capabilities.
- Abstract(参考訳): 既存の動き伝達法は、参照ビデオからターゲットシーンへの厳格な動きの再現を正確に行うが、物理法則に従って移動された動きとターゲットシーン環境との整合性を考慮しないことが多い。
本研究では,ターゲットシーンとの物理的互換性を確保しつつ,高忠実度な動き伝達を実現する新しい動き伝達フレームワークであるMotionShiftを提案する。
特に,大規模言語モデル (LLM) が,その強い意味的推論能力を活用して動き軌跡を生成するためのプランナー-評価器反復運動適応機構を設計し,視覚言語モデル (VLM) が優れた視覚的知覚とシーン理解に基づいて動きを修正するための評価器として機能する。
このプランナー-評価器の相乗的推論プロセスを通じて、運動はトレーニング不要な方法で目標シーンに適応する。
適応された動きは、ターゲットシーンで映像をレンダリングする画像対ビデオ(I2V)モデルの生成条件として使用される。
広範囲にわたる実験により、MotionShiftは多種多様な複雑なシーンにまたがる高忠実で物理的に互換性のあるモーショントランスファーを実現することが示された。
さらに,既存のトラジェクトリ条件付きI2VモデルにMotionShiftを組み込むことで,現実的なモーショントランスファー機能を持たせることができることを示す。
関連論文リスト
- Motion Beyond Morphology: Bootstrapping Cross-Category Motion Transfer from Abstract Motion Representations [32.70813770106954]
ビデオモーション転送は、参照ビデオから動的にターゲットオブジェクトをアニメーションすることを目的としている。
既存の定式化は主に固定構造対応に依存している。
モーメント・サザン・モルフォロジー(Motion Beyond Morphology)は、固定された構造的対応を超えて運動を伝達しようとする視点である。
論文 参考訳(メタデータ) (2026-08-03T02:59:54Z) - MotionAdapter: Video Motion Transfer via Content-Aware Attention Customization [73.07309070257162]
MotionAdapterは、ロバストでセマンティックに整合したモーション転送を可能にする、コンテンツ対応のモーション転送フレームワークである。
我々の重要な洞察は、効果的な動き伝達は外見から運動を明示的に切り離す必要があることである。
MotionAdapterは自然に複雑なモーション転送とズームのようなモーション編集タスクをサポートする。
論文 参考訳(メタデータ) (2026-01-05T10:01:27Z) - MotionShot: Adaptive Motion Transfer across Arbitrary Objects for Text-to-Video Generation [23.051430600796277]
MotionShotは、参照ターゲット対応をきめ細かい方法で解析するためのフレームワークである。
顕著な外観や構造の違いがあっても、物体を横切る動きをコヒーレントに転送することができる。
論文 参考訳(メタデータ) (2025-07-22T07:51:05Z) - Follow-Your-Motion: Video Motion Transfer via Efficient Spatial-Temporal Decoupled Finetuning [50.4776422843776]
Follow-Your-Motionは、効率的な2段階ビデオモーション転送フレームワークである。
本稿では,空間的外観と時間的動き処理のための注意構造を分離する空間的時間的疎結合LoRAを提案する。
第2のトレーニング段階では、調整速度を高速化するためにスパース動作サンプリングと適応RoPEを設計する。
論文 参考訳(メタデータ) (2025-06-05T16:18:32Z) - Spectral Motion Alignment for Video Motion Transfer using Diffusion Models [54.32923808964701]
スペクトル運動アライメント(英: Spectral Motion Alignment、SMA)は、フーリエ変換とウェーブレット変換を用いて運動ベクトルを洗練・整列するフレームワークである。
SMAは周波数領域の正規化を取り入れて動きパターンを学習し、全体フレームのグローバルな動きのダイナミクスの学習を容易にする。
大規模な実験は、様々なビデオカスタマイズフレームワーク間の計算効率と互換性を維持しながら、モーション転送を改善するSMAの有効性を示す。
論文 参考訳(メタデータ) (2024-03-22T14:47:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。