論文の概要: MotionMatcher: Motion Customization of Text-to-Video Diffusion Models via Motion Feature Matching

• arxiv url: http://arxiv.org/abs/2502.13234v1
• Date: Tue, 18 Feb 2025 19:12:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-20 14:02:00.539897
• Title: MotionMatcher: Motion Customization of Text-to-Video Diffusion Models via Motion Feature Matching
• Title（参考訳）: MotionMatcher:モーション特徴マッチングによるテキスト・ビデオ拡散モデルのモーションカスタマイズ
• Authors: Yen-Siang Wu, Chi-Pin Huang, Fu-En Yang, Yu-Chiang Frank Wang,
• Abstract要約: テキスト・ツー・ビデオ(T2V)拡散モデルは、入力されたテキスト・プロンプトからリアルな動画を合成する有望な能力を持つ。 本研究では,モーションガイダンスとして参照映像が提供される動作カスタマイズ問題に取り組む。 我々は,事前学習したT2V拡散モデルを特徴レベルで微調整するモーションカスタマイズフレームワークであるMotionMatcherを提案する。
• 参考スコア（独自算出の注目度）: 27.28898943916193
• License:
• Abstract: Text-to-video (T2V) diffusion models have shown promising capabilities in synthesizing realistic videos from input text prompts. However, the input text description alone provides limited control over the precise objects movements and camera framing. In this work, we tackle the motion customization problem, where a reference video is provided as motion guidance. While most existing methods choose to fine-tune pre-trained diffusion models to reconstruct the frame differences of the reference video, we observe that such strategy suffer from content leakage from the reference video, and they cannot capture complex motion accurately. To address this issue, we propose MotionMatcher, a motion customization framework that fine-tunes the pre-trained T2V diffusion model at the feature level. Instead of using pixel-level objectives, MotionMatcher compares high-level, spatio-temporal motion features to fine-tune diffusion models, ensuring precise motion learning. For the sake of memory efficiency and accessibility, we utilize a pre-trained T2V diffusion model, which contains considerable prior knowledge about video motion, to compute these motion features. In our experiments, we demonstrate state-of-the-art motion customization performances, validating the design of our framework.
• Abstract（参考訳）: テキスト・ツー・ビデオ(T2V)拡散モデルは、入力されたテキスト・プロンプトからリアルな動画を合成する有望な能力を示している。 しかし、入力テキスト記述だけでは、正確なオブジェクトの動きとカメラフレーミングを限定的に制御できる。 本研究では,モーションガイダンスとして参照映像が提供される動作カスタマイズ問題に取り組む。 既存のほとんどの手法では、参照ビデオのフレーム差を再現するために、事前学習した拡散モデルを微調整するが、そのような戦略は参照ビデオからのコンテンツ漏洩に悩まされており、複雑な動きを正確に捉えることはできない。 この問題に対処するため,我々は,事前学習したT2V拡散モデルを機能レベルで微調整するモーションカスタマイズフレームワークであるMotionMatcherを提案する。 ピクセルレベルの目標を使用する代わりに、MotionMatcherは高レベルの時空間運動特徴と微調整拡散モデルを比較し、正確な動き学習を保証する。 メモリ効率とアクセシビリティのために、ビデオモーションに関する事前知識を含む事前学習されたT2V拡散モデルを用いて、これらの動作特性を計算する。 実験では,現状の動作カスタマイズ性能を実証し,フレームワークの設計を検証した。

関連論文リスト

• MotionFollower: Editing Video Motion via Lightweight Score-Guided Diffusion [94.66090422753126]
  MotionFollowerは、ビデオモーション編集のための軽量なスコア誘導拡散モデルである。 優れたモーション編集性能を提供し、大きなカメラの動きとアクションのみをサポートする。 最新のモーション編集モデルであるMotionEditorと比較して、MotionFollowerはGPUメモリの約80%の削減を実現している。
  論文  参考訳（メタデータ） (2024-05-30T17:57:30Z)
• Investigating the Effectiveness of Cross-Attention to Unlock Zero-Shot Editing of Text-to-Video Diffusion Models [52.28245595257831]
  クロスアテンションガイダンスは、ビデオを編集する上で有望なアプローチだ。 現行のT2Vモデルの限界にもかかわらず、動画編集にはクロスアテンションガイダンスが有望なアプローチであることを示す。
  論文  参考訳（メタデータ） (2024-04-08T13:40:01Z)
• Animate Your Motion: Turning Still Images into Dynamic Videos [58.63109848837741]
  本稿では,マルチモーダル入力を管理する新しい手法であるScene and Motion Conditional Diffusion (SMCD)を紹介する。 SMCDは、認識されたモーションコンディショニングモジュールを組み込み、シーン条件を統合するための様々なアプローチを調査する。 我々のデザインは映像の品質、動きの精度、セマンティック・コヒーレンスを大幅に向上させる。
  論文  参考訳（メタデータ） (2024-03-15T10:36:24Z)
• Customize-A-Video: One-Shot Motion Customization of Text-to-Video Diffusion Models [48.56724784226513]
  本研究では,単一参照ビデオからの動作をモデル化し,空間的・時間的変化のある新しい主題やシーンに適応するCustomize-A-Videoを提案する。 提案するモジュールは、ステージ化されたパイプラインでトレーニングされ、プラグイン・アンド・プレイ方式で推論され、様々な下流タスクへの容易に拡張できる。
  論文  参考訳（メタデータ） (2024-02-22T18:38:48Z)
• Motion-I2V: Consistent and Controllable Image-to-Video Generation with Explicit Motion Modeling [62.19142543520805]
  Motion-I2Vは、一貫した制御可能な画像対ビデオ生成のためのフレームワークである。 I2Vを2段階に分解し、明示的なモーションモデリングを行う。 Motion-I2Vの第2ステージは、ゼロショットビデオからビデオへの変換を自然にサポートしている。
  論文  参考訳（メタデータ） (2024-01-29T09:06:43Z)
• VMC: Video Motion Customization using Temporal Attention Adaption for Text-to-Video Diffusion Models [58.93124686141781]
  Video Motion Customization (VMC) はビデオ拡散モデルに時間的注意層を適応させる新しいワンショットチューニング手法である。 本研究では, 連続するフレーム間の残留ベクトルを運動基準として用いた新しい運動蒸留法を提案する。 実世界のさまざまな動きや状況にまたがる最先端のビデオ生成モデルに対して,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2023-12-01T06:50:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。