論文の概要: PersonaAnimator: Personalized Motion Transfer from Unconstrained Videos
- arxiv url: http://arxiv.org/abs/2508.19895v1
- Date: Wed, 27 Aug 2025 13:52:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-28 19:07:41.652575
- Title: PersonaAnimator: Personalized Motion Transfer from Unconstrained Videos
- Title(参考訳): ペルソナアニメーター:制約のないビデオからのパーソナライズされたモーション転送
- Authors: Ziyun Qian, Runyu Xiao, Shuyuan Tu, Wei Xue, Dingkang Yang, Mingcheng Li, Dongliang Kou, Minghao Han, Zizhi Chen, Lihua Zhang,
- Abstract要約: PersonaAnimatorは、制約のないビデオから直接パーソナライズされた動きパターンを学習する。
PersonaVidは、ビデオベースのパーソナライズされたモーションデータセットとしては初めてのものだ。
本研究では,物理を意識した運動スタイル正規化機構を提案する。
- 参考スコア(独自算出の注目度): 50.26234617411856
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advances in motion generation show remarkable progress. However, several limitations remain: (1) Existing pose-guided character motion transfer methods merely replicate motion without learning its style characteristics, resulting in inexpressive characters. (2) Motion style transfer methods rely heavily on motion capture data, which is difficult to obtain. (3) Generated motions sometimes violate physical laws. To address these challenges, this paper pioneers a new task: Video-to-Video Motion Personalization. We propose a novel framework, PersonaAnimator, which learns personalized motion patterns directly from unconstrained videos. This enables personalized motion transfer. To support this task, we introduce PersonaVid, the first video-based personalized motion dataset. It contains 20 motion content categories and 120 motion style categories. We further propose a Physics-aware Motion Style Regularization mechanism to enforce physical plausibility in the generated motions. Extensive experiments show that PersonaAnimator outperforms state-of-the-art motion transfer methods and sets a new benchmark for the Video-to-Video Motion Personalization task.
- Abstract(参考訳): 運動生成の最近の進歩は顕著な進歩を示している。
しかし、(1)既存のポーズ誘導文字移動法は、そのスタイルの特徴を学習せずに単に動きを再現するだけであり、表現力に欠ける。
2) モーションスタイルの転送手法は, 取得が困難であるモーションキャプチャーデータに大きく依存している。
(3) 発生運動は物理法則に違反することがある。
これらの課題に対処するため、本稿では、新しいタスクであるビデオ間モーションパーソナライゼーションを開拓する。
制約のないビデオから直接パーソナライズされた動作パターンを学習する新しいフレームワークであるPersonaAnimatorを提案する。
これにより、パーソナライズされたモーション転送が可能になる。
このタスクを支援するために、最初のビデオベースのパーソナライズされたモーションデータセットであるPersonaVidを紹介する。
20のモーションコンテンツカテゴリーと120のモーションスタイルカテゴリがある。
さらに、生成した動きの物理的妥当性を強制する物理認識型運動スタイル正規化機構を提案する。
広汎な実験により、PersonaAnimatorは最先端のモーショントランスファー手法より優れており、ビデオからビデオへのモーションパーソナライゼーションタスクのための新しいベンチマークが設定されている。
関連論文リスト
- Move-in-2D: 2D-Conditioned Human Motion Generation [54.067588636155115]
そこで我々は,シーンイメージに条件付けされた人間の動作シーケンスを生成する新しい手法であるMove-in-2Dを提案する。
本手法はシーンイメージとテキストプロンプトの両方を入力として受け入れ,シーンに合わせた動作シーケンスを生成する。
論文 参考訳(メタデータ) (2024-12-17T18:58:07Z) - Motion Prompting: Controlling Video Generation with Motion Trajectories [57.049252242807874]
スパースもしくは高密度なビデオ軌跡を条件とした映像生成モデルを訓練する。
ハイレベルなユーザリクエストを,詳細なセミセンスな動作プロンプトに変換する。
我々は、カメラや物体の動き制御、画像との「相互作用」、動画転送、画像編集など、様々な応用を通してアプローチを実証する。
論文 参考訳(メタデータ) (2024-12-03T18:59:56Z) - MotionCrafter: One-Shot Motion Customization of Diffusion Models [66.44642854791807]
ワンショットのインスタンス誘導モーションカスタマイズ手法であるMotionCrafterを紹介する。
MotionCrafterは、基準運動をベースモデルの時間成分に注入する並列時空間アーキテクチャを採用している。
トレーニング中、凍結ベースモデルは外見の正規化を提供し、運動から効果的に外見を分離する。
論文 参考訳(メタデータ) (2023-12-08T16:31:04Z) - MotionDirector: Motion Customization of Text-to-Video Diffusion Models [24.282240656366714]
Motion Customizationは、既存のテキストとビデオの拡散モデルを適用して、カスタマイズされたモーションでビデオを生成することを目的としている。
我々は、外見と動きの学習を分離するために、デュアルパスのLoRAsアーキテクチャを持つMotionDirectorを提案する。
また,異なる動画の外観と動きの混合や,カスタマイズされたモーションによる単一画像のアニメーションなど,さまざまなダウンストリームアプリケーションもサポートしている。
論文 参考訳(メタデータ) (2023-10-12T16:26:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。