論文の概要: Boosting Camera Motion Control for Video Diffusion Transformers

• arxiv url: http://arxiv.org/abs/2410.10802v1
• Date: Mon, 14 Oct 2024 17:58:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-29 19:24:59.025494
• Title: Boosting Camera Motion Control for Video Diffusion Transformers
• Title（参考訳）: ビデオ拡散変換器のブースティングカメラ動作制御
• Authors: Soon Yau Cheong, Duygu Ceylan, Armin Mustafa, Andrew Gilbert, Chun-Hao Paul Huang,
• Abstract要約: 本研究では, トランスフォーマーベース拡散モデル (DiT) がカメラモーションの精度を著しく低下させることを示した。 DiTの持続的な動き劣化に対処するため、カメラモーションガイダンス(CMG)を導入し、カメラ制御を400%以上向上させる。 提案手法はU-NetモデルとDiTモデルの両方に適用され,ビデオ生成タスクに改良されたカメラ制御を提供する。
• 参考スコア（独自算出の注目度）: 21.151900688555624
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advancements in diffusion models have significantly enhanced the quality of video generation. However, fine-grained control over camera pose remains a challenge. While U-Net-based models have shown promising results for camera control, transformer-based diffusion models (DiT)-the preferred architecture for large-scale video generation - suffer from severe degradation in camera motion accuracy. In this paper, we investigate the underlying causes of this issue and propose solutions tailored to DiT architectures. Our study reveals that camera control performance depends heavily on the choice of conditioning methods rather than camera pose representations that is commonly believed. To address the persistent motion degradation in DiT, we introduce Camera Motion Guidance (CMG), based on classifier-free guidance, which boosts camera control by over 400%. Additionally, we present a sparse camera control pipeline, significantly simplifying the process of specifying camera poses for long videos. Our method universally applies to both U-Net and DiT models, offering improved camera control for video generation tasks.
• Abstract（参考訳）: 拡散モデルの最近の進歩は、ビデオ生成の品質を大幅に向上させた。 しかし、カメラのポーズのきめ細かい制御は依然として難しい。 U-Netベースのモデルはカメラ制御に有望な結果を示しているが、トランスフォーマーベースの拡散モデル(DiT)は大規模ビデオ生成に好まれるアーキテクチャであり、カメラモーションの精度が著しく低下している。 本稿では,この問題の根本原因を考察し,DiTアーキテクチャに適したソリューションを提案する。 本研究により, カメラ制御性能は, 一般的に信じられているカメラポーズ表現よりも, コンディショニング手法の選択に大きく依存していることが明らかとなった。 DiTの持続的な動き劣化に対処するため,分類器なし誘導に基づくカメラモーションガイダンス(CMG)を導入し,400%以上のカメラ制御を向上した。 さらに,スペアカメラ制御パイプラインを提示し,長編ビデオ用のカメラポーズを特定するプロセスを大幅に単純化する。 提案手法はU-NetモデルとDiTモデルの両方に適用され,ビデオ生成タスクに改良されたカメラ制御を提供する。

関連論文リスト

• I2VControl-Camera: Precise Video Camera Control with Adjustable Motion Strength [11.778832811404259]
  I2Vコントロルカメラ(I2VControl-Camera)は、被写体運動の強度を提供しながら、制御性を大幅に向上させる新しいカメラ制御方法である。 被写体運動の強度を正確に制御・調整するために,映像軌道展開の高次成分を明示的にモデル化する。
  論文  参考訳（メタデータ） (2024-11-10T16:59:39Z)
• CamI2V: Camera-Controlled Image-to-Video Diffusion Model [11.762824216082508]
  本稿では,明示的な物理的制約をモデル設計に統合する必要性を強調した。 ノイズ条件の新たな視点から,すべてのクロスフレーム関係をモデル化するためのエピポーラアテンションを提案する。 領域外画像への強い一般化を維持しつつ、RealEstate10K上でのカメラ制御性を25.5%向上させる。
  論文  参考訳（メタデータ） (2024-10-21T12:36:27Z)
• VD3D: Taming Large Video Diffusion Transformers for 3D Camera Control [74.5434726968562]
  Plucker座標に基づく制御ネットライクなコンディショニング機構を用いた3次元カメラ制御のためのトランスフォーマー映像を試作する。 我々の研究は、トランスフォーマーに基づくビデオ拡散モデルのカメラ制御を可能にする最初のものである。
  論文  参考訳（メタデータ） (2024-07-17T17:59:05Z)
• Image Conductor: Precision Control for Interactive Video Synthesis [90.2353794019393]
  映画製作とアニメーション制作は、しばしばカメラの遷移と物体の動きを調整するための洗練された技術を必要とする。 イメージコンダクタ(Image Conductor)は、カメラトランジションとオブジェクトの動きを正確に制御し、単一の画像からビデオアセットを生成する方法である。
  論文  参考訳（メタデータ） (2024-06-21T17:55:05Z)
• Training-free Camera Control for Video Generation [19.526135830699882]
  本稿では,市販ビデオ拡散モデルに対して,カメラの動き制御を実現するためのトレーニングフリーで堅牢なソリューションを提案する。 本手法では,カメラ注釈付きデータセットの教師付き微調整やデータ拡張による自己教師型トレーニングは不要である。
  論文  参考訳（メタデータ） (2024-06-14T15:33:00Z)
• CamCo: Camera-Controllable 3D-Consistent Image-to-Video Generation [117.16677556874278]
  我々はCamCoを導入し、細粒度カメラのポーズ制御を画像からビデオへ生成する。 生成したビデオの3D一貫性を高めるため,各アテンションブロックにエピポーラアテンションモジュールを統合する。 実験の結果,CamCoは従来のモデルに比べて3次元の整合性とカメラ制御能力を大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2024-06-04T17:27:19Z)
• Collaborative Video Diffusion: Consistent Multi-video Generation with Camera Control [70.17137528953953]
  コラボレーション型ビデオ拡散(CVD)は、ビデオ生成のための最先端のカメラ制御モジュール上で訓練される。 CVDは、異なるカメラ軌跡からレンダリングされた複数のビデオを、ベースラインよりもはるかに優れた一貫性で生成する。
  論文  参考訳（メタデータ） (2024-05-27T17:58:01Z)
• MotionMaster: Training-free Camera Motion Transfer For Video Generation [48.706578330771386]
  本稿では,映像中のカメラの動きと物体の動きをアンハングリングする,トレーニング不要な動画移動モデルを提案する。 我々のモデルは、効果的にカメラオブジェクトの動きを分離し、分離されたカメラの動きを広範囲の制御可能なビデオ生成タスクに適用することができる。
  論文  参考訳（メタデータ） (2024-04-24T10:28:54Z)
• CameraCtrl: Enabling Camera Control for Text-to-Video Generation [86.36135895375425]
  ユーザーが希望するコンテンツを作成することができるため、ビデオ生成において制御性は重要な役割を担っている。 既存のモデルは、撮影言語として機能するカメラポーズの正確な制御をほとんど見落としていた。 我々は、テキスト・トゥ・ビデオ(T2V)モデルの正確なカメラポーズ制御を可能にするCameraCtrlを紹介する。
  論文  参考訳（メタデータ） (2024-04-02T16:52:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。