論文の概要: Training-free Camera Control for Video Generation

• arxiv url: http://arxiv.org/abs/2406.10126v2
• Date: Fri, 6 Sep 2024 10:25:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-09 20:13:58.211522
• Title: Training-free Camera Control for Video Generation
• Title（参考訳）: ビデオ生成のための訓練不要カメラ制御
• Authors: Chen Hou, Guoqiang Wei, Yan Zeng, Zhibo Chen,
• Abstract要約: 本稿では,市販ビデオ拡散モデルに対して,カメラの動き制御を実現するためのトレーニングフリーで堅牢なソリューションを提案する。 本手法では,カメラ注釈付きデータセットの教師付き微調整やデータ拡張による自己教師型トレーニングは不要である。
• 参考スコア（独自算出の注目度）: 19.526135830699882
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a training-free and robust solution to offer camera movement control for off-the-shelf video diffusion models. Unlike previous work, our method does not require any supervised finetuning on camera-annotated datasets or self-supervised training via data augmentation. Instead, it can be plugged and played with most pretrained video diffusion models and generate camera controllable videos with a single image or text prompt as input. The inspiration of our work comes from the layout prior that intermediate latents hold towards generated results, thus rearranging noisy pixels in them will make output content reallocated as well. As camera move could also be seen as a kind of pixel rearrangement caused by perspective change, videos could be reorganized following specific camera motion if their noisy latents change accordingly. Established on this, we propose our method CamTrol, which enables robust camera control for video diffusion models. It is achieved by a two-stage process. First, we model image layout rearrangement through explicit camera movement in 3D point cloud space. Second, we generate videos with camera motion using layout prior of noisy latents formed by a series of rearranged images. Extensive experiments have demonstrated the robustness our method holds in controlling camera motion of generated videos. Furthermore, we show that our method can produce impressive results in generating 3D rotation videos with dynamic content. Project page at https://lifedecoder.github.io/CamTrol/.
• Abstract（参考訳）: 本稿では,市販ビデオ拡散モデルに対して,カメラの動き制御を実現するためのトレーニングフリーで堅牢なソリューションを提案する。 従来の手法とは異なり、カメラに注釈を付けたデータセットの教師付き微調整や、データ拡張による自己教師型トレーニングは不要である。 代わりに、ほとんどの事前訓練されたビデオ拡散モデルでプラグインして再生し、単一の画像またはテキストプロンプトを入力としてカメラ制御可能なビデオを生成する。 私たちの研究のインスピレーションは、中間ラテントが生成結果に向かって保持する以前のレイアウトから来ており、ノイズの多いピクセルを並べ替えることで、出力コンテンツも再配置されます。 カメラの動きは、視点の変化によって引き起こされるピクセルの並べ替えのようなものと見なされるので、ノイズのある潜伏剤が変化すれば、特定のカメラの動きに従ってビデオを再編成することができる。 そこで本研究では,ビデオ拡散モデルに対するロバストなカメラ制御を実現するCamTrolを提案する。 2段階のプロセスによって達成される。 まず,3次元点雲空間における露光カメラ移動による画像レイアウト再構成をモデル化する。 第2に、一連の並べ替え画像によって形成されるノイズの多いラテントの前に、レイアウトを用いて、カメラモーションで映像を生成する。 大規模な実験により、生成されたビデオのカメラモーションを制御する際に、我々の手法が持つロバストさが実証された。 さらに,本手法は動的コンテンツを用いた3次元回転ビデオ生成において,印象的な結果が得られることを示す。 Project page at https://lifedecoder.github.io/CamTrol/.com

関連論文リスト

• Cavia: Camera-controllable Multi-view Video Diffusion with View-Integrated Attention [62.2447324481159]
  Caviaはカメラ制御可能なマルチビュービデオ生成のための新しいフレームワークである。 我々のフレームワークは、空間的および時間的注意モジュールを拡張し、視点と時間的一貫性を改善します。 Caviaは、ユーザーが物体の動きを取得しながら、異なるカメラの動きを特定できる最初の製品だ。
  論文  参考訳（メタデータ） (2024-10-14T17:46:32Z)
• VD3D: Taming Large Video Diffusion Transformers for 3D Camera Control [74.5434726968562]
  Plucker座標に基づく制御ネットライクなコンディショニング機構を用いた3次元カメラ制御のためのトランスフォーマー映像を試作する。 我々の研究は、トランスフォーマーに基づくビデオ拡散モデルのカメラ制御を可能にする最初のものである。
  論文  参考訳（メタデータ） (2024-07-17T17:59:05Z)
• CamCo: Camera-Controllable 3D-Consistent Image-to-Video Generation [117.16677556874278]
  我々はCamCoを導入し、細粒度カメラのポーズ制御を画像からビデオへ生成する。 生成したビデオの3D一貫性を高めるため,各アテンションブロックにエピポーラアテンションモジュールを統合する。 実験の結果,CamCoは従来のモデルに比べて3次元の整合性とカメラ制御能力を大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2024-06-04T17:27:19Z)
• Collaborative Video Diffusion: Consistent Multi-video Generation with Camera Control [70.17137528953953]
  コラボレーション型ビデオ拡散(CVD)は、ビデオ生成のための最先端のカメラ制御モジュール上で訓練される。 CVDは、異なるカメラ軌跡からレンダリングされた複数のビデオを、ベースラインよりもはるかに優れた一貫性で生成する。
  論文  参考訳（メタデータ） (2024-05-27T17:58:01Z)
• CamViG: Camera Aware Image-to-Video Generation with Multimodal Transformers [18.67069364925506]
  本稿では,3次元カメラ動作の符号化に生成した映像を条件付けすることで,仮想3Dカメラ制御を生成ビデオに付加することを提案する。 その結果,(1)単一フレームとカメラ信号から始まる映像生成におけるカメラの制御に成功し,(2)従来のコンピュータビジョン手法を用いて生成された3Dカメラパスの精度を示すことができた。
  論文  参考訳（メタデータ） (2024-05-21T20:54:27Z)
• MotionMaster: Training-free Camera Motion Transfer For Video Generation [48.706578330771386]
  本稿では,映像中のカメラの動きと物体の動きをアンハングリングする,トレーニング不要な動画移動モデルを提案する。 我々のモデルは、効果的にカメラオブジェクトの動きを分離し、分離されたカメラの動きを広範囲の制御可能なビデオ生成タスクに適用することができる。
  論文  参考訳（メタデータ） (2024-04-24T10:28:54Z)
• CameraCtrl: Enabling Camera Control for Text-to-Video Generation [86.36135895375425]
  ユーザーが希望するコンテンツを作成することができるため、ビデオ生成において制御性は重要な役割を担っている。 既存のモデルは、撮影言語として機能するカメラポーズの正確な制御をほとんど見落としていた。 我々は、テキスト・トゥ・ビデオ(T2V)モデルの正確なカメラポーズ制御を可能にするCameraCtrlを紹介する。
  論文  参考訳（メタデータ） (2024-04-02T16:52:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。