論文の概要: Motion Marionette: Rethinking Rigid Motion Transfer via Prior Guidance
- arxiv url: http://arxiv.org/abs/2511.19909v1
- Date: Tue, 25 Nov 2025 04:34:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-26 17:37:04.269525
- Title: Motion Marionette: Rethinking Rigid Motion Transfer via Prior Guidance
- Title(参考訳): Motion Marionette: プライオリエンスによるリジッドモーショントランスファーの再考
- Authors: Haoxuan Wang, Jiachen Tao, Junyi Wu, Gaowen Liu, Ramana Rao Kompella, Yan Yan,
- Abstract要約: Motion Marionetteは、モノクルソースビデオからシングルビューターゲット画像への厳格なモーション転送のためのフレームワークである。
動画から動き軌跡を抽出して空間時間(SpaT)を予め構築する。
結果の速度場は、効率的なビデオ制作に柔軟に利用することができる。
- 参考スコア(独自算出の注目度): 26.642143303176997
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present Motion Marionette, a zero-shot framework for rigid motion transfer from monocular source videos to single-view target images. Previous works typically employ geometric, generative, or simulation priors to guide the transfer process, but these external priors introduce auxiliary constraints that lead to trade-offs between generalizability and temporal consistency. To address these limitations, we propose guiding the motion transfer process through an internal prior that exclusively captures the spatial-temporal transformations and is shared between the source video and any transferred target video. Specifically, we first lift both the source video and the target image into a unified 3D representation space. Motion trajectories are then extracted from the source video to construct a spatial-temporal (SpaT) prior that is independent of object geometry and semantics, encoding relative spatial variations over time. This prior is further integrated with the target object to synthesize a controllable velocity field, which is subsequently refined using Position-Based Dynamics to mitigate artifacts and enhance visual coherence. The resulting velocity field can be flexibly employed for efficient video production. Empirical results demonstrate that Motion Marionette generalizes across diverse objects, produces temporally consistent videos that align well with the source motion, and supports controllable video generation.
- Abstract(参考訳): モノクロ映像からシングルビュー対象画像への剛性移動のためのゼロショットフレームワークであるMotion Marionetteを提案する。
従来の研究では、幾何学的、生成的、あるいはシミュレーションに先立って転送プロセスを導くのが一般的だったが、これらの外部の先行は、一般化可能性と時間的一貫性の間のトレードオフをもたらす補助的な制約を導入する。
これらの制約に対処するために、我々は、空間的時間的変換のみをキャプチャし、ソースビデオと転送対象のビデオ間で共有する、内部の事前を通したモーション転送プロセスの導出を提案する。
具体的には、まず、ソースビデオとターゲット画像の両方を統一された3D表現空間に引き上げる。
モーショントラジェクトリはソースビデオから抽出され、オブジェクトの幾何学や意味論に依存しない空間時間(SpaT)を事前に構築し、時間とともに相対的な空間変動を符号化する。
この前者は、制御可能な速度場を合成するためにターゲットオブジェクトとさらに統合され、その後、位置ベースダイナミクスを使用して、アーティファクトを緩和し、視覚的コヒーレンスを高めるために洗練される。
結果の速度場は、効率的なビデオ制作に柔軟に利用することができる。
実験の結果,Motion Marionetteは様々な物体をまたいで一般化し,時間的に一貫した映像を生成し,映像生成を制御可能であることが示された。
関連論文リスト
- MotionAgent: Fine-grained Controllable Video Generation via Motion Field Agent [55.15697390165972]
テキスト誘導画像-映像生成のための微粒なモーション制御を実現するMotionAgentを提案する。
キーとなる技術は、テキストプロンプトの動作情報を明示的な運動場に変換するモーション・フィールド・エージェントである。
我々はVBenchのサブセットを構築し、テキストと生成されたビデオの動作情報のアライメントを評価する。
論文 参考訳(メタデータ) (2025-02-05T14:26:07Z) - MotionClone: Training-Free Motion Cloning for Controllable Video Generation [41.621147782128396]
MotionCloneは、参照ビデオから多目的なモーションコントロールビデオ生成までのモーションクローンを可能にする、トレーニング不要のフレームワークである。
MotionCloneは、大域的なカメラの動きと局所的な物体の動きの両方の習熟度を示し、動きの忠実さ、テキストアライメント、時間的一貫性の点で顕著に優れている。
論文 参考訳(メタデータ) (2024-06-08T03:44:25Z) - Spectral Motion Alignment for Video Motion Transfer using Diffusion Models [54.32923808964701]
スペクトル運動アライメント(英: Spectral Motion Alignment、SMA)は、フーリエ変換とウェーブレット変換を用いて運動ベクトルを洗練・整列するフレームワークである。
SMAは周波数領域の正規化を取り入れて動きパターンを学習し、全体フレームのグローバルな動きのダイナミクスの学習を容易にする。
大規模な実験は、様々なビデオカスタマイズフレームワーク間の計算効率と互換性を維持しながら、モーション転送を改善するSMAの有効性を示す。
論文 参考訳(メタデータ) (2024-03-22T14:47:18Z) - LEO: Generative Latent Image Animator for Human Video Synthesis [38.99490968487773]
本稿では,人間の映像合成のための新しい枠組みを提案し,合成時間的コヒーレンシーを重視した。
私たちのキーとなるアイデアは、動きを外見から本質的に分離する生成過程におけるフローマップのシーケンスとして表現することです。
フローベース画像アニメーターとラテントモーション拡散モデル(LMDM)を用いてこれを実装した。
論文 参考訳(メタデータ) (2023-05-06T09:29:12Z) - Learning Variational Motion Prior for Video-based Motion Capture [31.79649766268877]
ビデオに基づくモーションキャプチャーのための新しい変分動作先行学習手法(VMP)を提案する。
我々のフレームワークはフレームワイドポーズ推定における時間的ジッタリングと障害モードを効果的に削減できる。
公開データセットとインザワイルドビデオの両方を用いた実験により、我々のフレームワークの有効性と一般化能力が実証された。
論文 参考訳(メタデータ) (2022-10-27T02:45:48Z) - Motion-from-Blur: 3D Shape and Motion Estimation of Motion-blurred
Objects in Videos [115.71874459429381]
本研究では,映像から3次元の運動,3次元の形状,および高度に動きやすい物体の外観を同時推定する手法を提案する。
提案手法は, 高速移動物体の劣化と3次元再構成において, 従来の手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2021-11-29T11:25:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。