論文の概要: MotionFollower: Editing Video Motion via Lightweight Score-Guided Diffusion

• arxiv url: http://arxiv.org/abs/2405.20325v1
• Date: Thu, 30 May 2024 17:57:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-31 12:50:16.776498
• Title: MotionFollower: Editing Video Motion via Lightweight Score-Guided Diffusion
• Title（参考訳）: MotionFollower:軽量スコア誘導拡散によるビデオモーションの編集
• Authors: Shuyuan Tu, Qi Dai, Zihao Zhang, Sicheng Xie, Zhi-Qi Cheng, Chong Luo, Xintong Han, Zuxuan Wu, Yu-Gang Jiang,
• Abstract要約: MotionFollowerは、ビデオモーション編集のための軽量なスコア誘導拡散モデルである。 優れたモーション編集性能を提供し、大きなカメラの動きとアクションのみをサポートする。 最新のモーション編集モデルであるMotionEditorと比較して、MotionFollowerはGPUメモリの約80%の削減を実現している。
• 参考スコア（独自算出の注目度）: 94.66090422753126
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite impressive advancements in diffusion-based video editing models in altering video attributes, there has been limited exploration into modifying motion information while preserving the original protagonist's appearance and background. In this paper, we propose MotionFollower, a lightweight score-guided diffusion model for video motion editing. To introduce conditional controls to the denoising process, MotionFollower leverages two of our proposed lightweight signal controllers, one for poses and the other for appearances, both of which consist of convolution blocks without involving heavy attention calculations. Further, we design a score guidance principle based on a two-branch architecture, including the reconstruction and editing branches, which significantly enhance the modeling capability of texture details and complicated backgrounds. Concretely, we enforce several consistency regularizers and losses during the score estimation. The resulting gradients thus inject appropriate guidance to the intermediate latents, forcing the model to preserve the original background details and protagonists' appearances without interfering with the motion modification. Experiments demonstrate the competitive motion editing ability of MotionFollower qualitatively and quantitatively. Compared with MotionEditor, the most advanced motion editing model, MotionFollower achieves an approximately 80% reduction in GPU memory while delivering superior motion editing performance and exclusively supporting large camera movements and actions.
• Abstract（参考訳）: 動画属性の変更における拡散に基づくビデオ編集モデルの顕著な進歩にもかかわらず、元の主人公の外観と背景を保ちながら、動き情報の変更について限定的な調査が行われた。 本稿では,ビデオモーション編集のための軽量なスコア誘導拡散モデルであるMotionFollowerを提案する。 復調処理に条件制御を導入するために、MotionFollowerは、提案した2つの軽量信号制御装置を利用し、1つはポーズ用であり、もう1つは外観用であり、どちらも大きな注意計算を伴わずに畳み込みブロックで構成されている。 さらに、テクスチャの詳細や複雑な背景のモデリング能力を大幅に向上させる2分岐アーキテクチャに基づくスコアガイダンスの原理を設計する。 具体的には、スコア推定中に複数の整合正則化と損失を強制する。 結果として得られた勾配は、中間の潜伏者に適切なガイダンスを注入し、モデルが動きの修正に干渉することなく、元の背景の詳細と主人公の外観を保存せざるを得なくなる。 実験では、MotionFollowerの運動編集能力を質的かつ定量的に実証した。 もっとも先進的なモーション編集モデルであるMotionEditorと比較して、MotionFollowerはGPUメモリの約80%の削減を実現し、優れたモーション編集性能を提供し、大きなカメラモーションとアクションのみをサポートする。

関連論文リスト

• Edit-Your-Motion: Space-Time Diffusion Decoupling Learning for Video Motion Editing [46.56615725175025]
  本稿では,ワンショット微調整による未確認課題に対処するビデオモーション編集手法であるEdit-Your-Motionを紹介する。 映像の動作と外観を効果的に分離するために,時間的二段階学習戦略を設計する。 Edit-Your-Motionを使えば、ユーザーはソースビデオの中の人間の動きを編集でき、より魅力的で多様なコンテンツを作ることができる。
  論文  参考訳（メタデータ） (2024-05-07T17:06:59Z)
• Motion Inversion for Video Customization [31.607669029754874]
  本稿では,映像モデルにおける動き表現の探索における広範なギャップに対処する,動き生成のための新しいアプローチを提案する。 本研究では,ビデオから抽出した時間的コヒーレントな埋め込みの集合であるMotion Embeddingsを紹介する。 我々の貢献には、カスタマイズタスクのための調整されたモーション埋め込みと、本手法の実用的メリットと有効性を示すことが含まれる。
  論文  参考訳（メタデータ） (2024-03-29T14:14:22Z)
• Animate Your Motion: Turning Still Images into Dynamic Videos [58.63109848837741]
  本稿では,マルチモーダル入力を管理する新しい手法であるScene and Motion Conditional Diffusion (SMCD)を紹介する。 SMCDは、認識されたモーションコンディショニングモジュールを組み込み、シーン条件を統合するための様々なアプローチを調査する。 我々のデザインは映像の品質、動きの精度、セマンティック・コヒーレンスを大幅に向上させる。
  論文  参考訳（メタデータ） (2024-03-15T10:36:24Z)
• MotionMix: Weakly-Supervised Diffusion for Controllable Motion Generation [19.999239668765885]
  MotionMixはノイズと無注釈の両方のモーションシーケンスを利用する弱い教師付き拡散モデルである。 我々のフレームワークは、テキスト・トゥ・モーション、アクション・トゥ・モーション、音楽・トゥ・ダンスのタスクにおける最先端のパフォーマンスを一貫して達成する。
  論文  参考訳（メタデータ） (2024-01-20T04:58:06Z)
• MotionCrafter: One-Shot Motion Customization of Diffusion Models [66.44642854791807]
  ワンショットのインスタンス誘導モーションカスタマイズ手法であるMotionCrafterを紹介する。 MotionCrafterは、基準運動をベースモデルの時間成分に注入する並列時空間アーキテクチャを採用している。 トレーニング中、凍結ベースモデルは外見の正規化を提供し、運動から効果的に外見を分離する。
  論文  参考訳（メタデータ） (2023-12-08T16:31:04Z)
• MotionEditor: Editing Video Motion via Content-Aware Diffusion [96.825431998349]
  MotionEditorはビデオモーション編集のための拡散モデルである。 新たなコンテンツ対応モーションアダプタをControlNetに組み込んで、時間的モーション対応をキャプチャする。
  論文  参考訳（メタデータ） (2023-11-30T18:59:33Z)
• Motion-Conditioned Image Animation for Video Editing [65.90398261600964]
  MoCAは動画編集のためのモーションコンディション・イメージ・アニメーション・アプローチである。 提案するベンチマークでは,MoCAとともに最新の映像編集手法の総合的評価を行う。 MoCAは新たな最先端技術を確立し、人間の嗜好の勝利率を高め、最近の顕著なアプローチよりも優れています。
  論文  参考訳（メタデータ） (2023-11-30T18:59:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。