論文の概要: DreamVideo-2: Zero-Shot Subject-Driven Video Customization with Precise Motion Control

• arxiv url: http://arxiv.org/abs/2410.13830v1
• Date: Thu, 17 Oct 2024 17:52:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-18 13:19:24.467767
• Title: DreamVideo-2: Zero-Shot Subject-Driven Video Customization with Precise Motion Control
• Title（参考訳）: DreamVideo-2: 精密モーション制御によるゼロショット被写体駆動ビデオのカスタマイズ
• Authors: Yujie Wei, Shiwei Zhang, Hangjie Yuan, Xiang Wang, Haonan Qiu, Rui Zhao, Yutong Feng, Feng Liu, Zhizhong Huang, Jiaxin Ye, Yingya Zhang, Hongming Shan,
• Abstract要約: 本研究では、特定の主題と動きの軌跡でビデオを生成することができるゼロショットビデオカスタマイズフレームワークDreamVideo-2を提案する。 具体的には,対象学習におけるモデル固有の能力を活用する参照アテンションを導入する。 我々は,ボックスマスクの頑健な動作信号を完全に活用して,高精度な動作制御を実現するためのマスク誘導型モーションモジュールを考案した。
• 参考スコア（独自算出の注目度）: 42.506988751934685
• License:
• Abstract: Recent advances in customized video generation have enabled users to create videos tailored to both specific subjects and motion trajectories. However, existing methods often require complicated test-time fine-tuning and struggle with balancing subject learning and motion control, limiting their real-world applications. In this paper, we present DreamVideo-2, a zero-shot video customization framework capable of generating videos with a specific subject and motion trajectory, guided by a single image and a bounding box sequence, respectively, and without the need for test-time fine-tuning. Specifically, we introduce reference attention, which leverages the model's inherent capabilities for subject learning, and devise a mask-guided motion module to achieve precise motion control by fully utilizing the robust motion signal of box masks derived from bounding boxes. While these two components achieve their intended functions, we empirically observe that motion control tends to dominate over subject learning. To address this, we propose two key designs: 1) the masked reference attention, which integrates a blended latent mask modeling scheme into reference attention to enhance subject representations at the desired positions, and 2) a reweighted diffusion loss, which differentiates the contributions of regions inside and outside the bounding boxes to ensure a balance between subject and motion control. Extensive experimental results on a newly curated dataset demonstrate that DreamVideo-2 outperforms state-of-the-art methods in both subject customization and motion control. The dataset, code, and models will be made publicly available.
• Abstract（参考訳）: 近年のカスタマイズビデオ生成の進歩により、ユーザーは特定の被写体と運動軌跡の両方に合わせたビデオを作成することができるようになった。 しかし、既存の手法ではテスト時の微調整が複雑で、被験者の学習とモーションコントロールのバランスがとれず、現実の応用が制限されることが多い。 本稿では,特定の被写体と運動軌跡でビデオを生成することができるゼロショットビデオカスタマイズフレームワークであるDreamVideo-2について述べる。 具体的には,対象学習におけるモデル固有の機能を活用する参照アテンションを導入し,バウンディングボックスから派生したボックスマスクの頑健な動作信号を十分に活用して,正確な動作制御を実現するためのマスク誘導モーションモジュールを考案する。 これらの2つのコンポーネントは意図した機能を達成する一方で、動作制御が主観的学習よりも支配的であることを実証的に観察する。 これを解決するために、我々は2つの重要な設計を提案する。 1) 被写体表現を所望の位置に高めるために、混合潜時マスクモデリングスキームを参照注意に組み込んだマスク付き参照注意。 2) 被写体と運動制御のバランスを確保するため, 境界箱内外領域の寄与を区別する拡散損失を緩和する。 新たにキュレートされたデータセットの大規模な実験結果から、DreamVideo-2は、主題のカスタマイズとモーションコントロールの両方において最先端の手法より優れていることが示された。 データセット、コード、モデルは公開されます。

関連論文リスト

• MotionMatcher: Motion Customization of Text-to-Video Diffusion Models via Motion Feature Matching [27.28898943916193]
  テキスト・ツー・ビデオ(T2V)拡散モデルは、入力されたテキスト・プロンプトからリアルな動画を合成する有望な能力を持つ。 本研究では,モーションガイダンスとして参照映像が提供される動作カスタマイズ問題に取り組む。 我々は,事前学習したT2V拡散モデルを特徴レベルで微調整するモーションカスタマイズフレームワークであるMotionMatcherを提案する。
  論文  参考訳（メタデータ） (2025-02-18T19:12:51Z)
• MotionCanvas: Cinematic Shot Design with Controllable Image-to-Video Generation [65.74312406211213]
  本稿では,映像生成の文脈で撮影映像を設計する手法を提案する。 I2V合成において,従来のコンピュータグラフィックスと現代映像生成技術からの洞察を結合することにより,3次元動作制御を実現する能力を示す。
  論文  参考訳（メタデータ） (2025-02-06T18:41:04Z)
• Free-Form Motion Control: A Synthetic Video Generation Dataset with Controllable Camera and Object Motions [78.65431951506152]
  自由形運動制御のための合成データセット(SynFMC)を提案する。 提案したSynFMCデータセットは、さまざまなオブジェクトと環境を含み、特定のルールに従ってさまざまな動きパターンをカバーしている。 さらに,物体とカメラの動きの独立的あるいは同時制御を可能にするFMC(Free-Form Motion Control)を提案する。
  論文  参考訳（メタデータ） (2025-01-02T18:59:45Z)
• MotionBooth: Motion-Aware Customized Text-to-Video Generation [44.41894050494623]
  MotionBoothは、オブジェクトとカメラの両方の動きを正確に制御して、カスタマイズされた被験者をアニメーションするためのフレームワークである。 オブジェクトの形状や属性を正確に把握するために,テキスト・ビデオ・モデルを効率的に微調整する。 提案手法は,被験者の学習能力を高めるために,被写体領域の損失とビデオ保存損失を示す。
  論文  参考訳（メタデータ） (2024-06-25T17:42:25Z)
• Ctrl-V: Higher Fidelity Video Generation with Bounding-Box Controlled Object Motion [8.068194154084967]
  本稿では,現実的な映像合成において,物体の動きを正確に制御する方法を提案する。 これを実現するために,バウンディングボックスを用いてオブジェクトの動きを制御し,この制御を画素空間内の2Dまたは3Dボックスのレンダリングに拡張する。 我々の手法であるCtrl-Vは、修正および微調整された安定ビデオ拡散(SVD)モデルを利用して、軌跡生成と映像生成の両方を解決する。
  論文  参考訳（メタデータ） (2024-06-09T03:44:35Z)
• Animate Your Motion: Turning Still Images into Dynamic Videos [58.63109848837741]
  本稿では,マルチモーダル入力を管理する新しい手法であるScene and Motion Conditional Diffusion (SMCD)を紹介する。 SMCDは、認識されたモーションコンディショニングモジュールを組み込み、シーン条件を統合するための様々なアプローチを調査する。 我々のデザインは映像の品質、動きの精度、セマンティック・コヒーレンスを大幅に向上させる。
  論文  参考訳（メタデータ） (2024-03-15T10:36:24Z)
• TrailBlazer: Trajectory Control for Diffusion-Based Video Generation [11.655256653219604]
  テキスト・ツー・ビデオ(T2V)生成における制御性はしばしば課題である。 我々はキーフレーミングの概念を導入し、対象の軌跡と全体の外観を移動境界ボックスと対応するプロンプトの両方でガイドできるようにする。 箱の大きさが大きくなるにつれて、視界や仮想カメラへの移動といった新たな効果が生まれます。
  論文  参考訳（メタデータ） (2023-12-31T10:51:52Z)
• DreamVideo: Composing Your Dream Videos with Customized Subject and Motion [52.7394517692186]
  対象の静的画像からパーソナライズされたビデオを生成する新しいアプローチであるDreamVideoを紹介します。 DreamVideoは、このタスクを、トレーニング済みのビデオ拡散モデルを活用することによって、主観学習とモーション学習の2つの段階に分離する。 モーション学習では、対象のモーションパターンを効果的にモデル化するために、モーションアダプタを設計し、所定のビデオに微調整する。
  論文  参考訳（メタデータ） (2023-12-07T16:57:26Z)
• TrackDiffusion: Tracklet-Conditioned Video Generation via Diffusion Models [75.20168902300166]
  微粒な軌跡条件の運動制御が可能な新しい映像生成フレームワークであるTrackDiffusionを提案する。 TrackDiffusionの重要なコンポーネントは、複数のオブジェクトのフレーム間の一貫性を明確に保証するインスタンスエンハンサーである。 TrackDiffusionによって生成されたビデオシーケンスは、視覚知覚モデルのトレーニングデータとして使用できる。
  論文  参考訳（メタデータ） (2023-12-01T15:24:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。