論文の概要: Cavia: Camera-controllable Multi-view Video Diffusion with View-Integrated Attention

• arxiv url: http://arxiv.org/abs/2410.10774v1
• Date: Mon, 14 Oct 2024 17:46:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-29 19:44:46.618883
• Title: Cavia: Camera-controllable Multi-view Video Diffusion with View-Integrated Attention
• Title（参考訳）: Cavia:ビュー・インテグレート・アテンションによるカメラ制御型多視点ビデオ拡散
• Authors: Dejia Xu, Yifan Jiang, Chen Huang, Liangchen Song, Thorsten Gernoth, Liangliang Cao, Zhangyang Wang, Hao Tang,
• Abstract要約: Caviaはカメラ制御可能なマルチビュービデオ生成のための新しいフレームワークである。 我々のフレームワークは、空間的および時間的注意モジュールを拡張し、視点と時間的一貫性を改善します。 Caviaは、ユーザーが物体の動きを取得しながら、異なるカメラの動きを特定できる最初の製品だ。
• 参考スコア（独自算出の注目度）: 62.2447324481159
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years there have been remarkable breakthroughs in image-to-video generation. However, the 3D consistency and camera controllability of generated frames have remained unsolved. Recent studies have attempted to incorporate camera control into the generation process, but their results are often limited to simple trajectories or lack the ability to generate consistent videos from multiple distinct camera paths for the same scene. To address these limitations, we introduce Cavia, a novel framework for camera-controllable, multi-view video generation, capable of converting an input image into multiple spatiotemporally consistent videos. Our framework extends the spatial and temporal attention modules into view-integrated attention modules, improving both viewpoint and temporal consistency. This flexible design allows for joint training with diverse curated data sources, including scene-level static videos, object-level synthetic multi-view dynamic videos, and real-world monocular dynamic videos. To our best knowledge, Cavia is the first of its kind that allows the user to precisely specify camera motion while obtaining object motion. Extensive experiments demonstrate that Cavia surpasses state-of-the-art methods in terms of geometric consistency and perceptual quality. Project Page: https://ir1d.github.io/Cavia/
• Abstract（参考訳）: 近年、画像からビデオへの生成が目覚ましい進歩を遂げている。 しかし、生成されたフレームの3D一貫性とカメラ制御性は未解決のままである。 近年の研究では、カメラ制御を生成プロセスに組み込むことが試みられているが、その結果は単純な軌跡に限られる場合や、同じシーンで複数の異なるカメラパスから一貫したビデオを生成する能力に欠ける場合が多い。 これらの制約に対処するため、カメラ制御可能なマルチビュービデオ生成のための新しいフレームワークであるCaviaを導入し、入力画像を複数の時空間的に一貫したビデオに変換する。 我々のフレームワークは、空間的および時間的注意モジュールをビュー統合された注意モジュールに拡張し、視点と時間的整合性の両方を改善した。 このフレキシブルなデザインは、シーンレベルの静的ビデオ、オブジェクトレベルの合成マルチビューダイナミックビデオ、現実世界のモノクロダイナミックビデオなど、さまざまなキュレートされたデータソースとのジョイントトレーニングを可能にする。 われわれの知る限りでは、Caviaはカメラの動きを正確に指定し、オブジェクトの動きを取得できる最初のシステムだ。 大規模な実験により、カビアは幾何学的一貫性と知覚的品質の点で最先端の手法を超越していることが示された。 Project Page: https://ir1d.github.io/Cavia/

関連論文リスト

• VD3D: Taming Large Video Diffusion Transformers for 3D Camera Control [74.5434726968562]
  Plucker座標に基づく制御ネットライクなコンディショニング機構を用いた3次元カメラ制御のためのトランスフォーマー映像を試作する。 我々の研究は、トランスフォーマーに基づくビデオ拡散モデルのカメラ制御を可能にする最初のものである。
  論文  参考訳（メタデータ） (2024-07-17T17:59:05Z)
• Training-free Camera Control for Video Generation [19.526135830699882]
  本稿では,市販ビデオ拡散モデルに対して,カメラの動き制御を実現するためのトレーニングフリーで堅牢なソリューションを提案する。 本手法では,カメラ注釈付きデータセットの教師付き微調整やデータ拡張による自己教師型トレーニングは不要である。
  論文  参考訳（メタデータ） (2024-06-14T15:33:00Z)
• CamCo: Camera-Controllable 3D-Consistent Image-to-Video Generation [117.16677556874278]
  我々はCamCoを導入し、細粒度カメラのポーズ制御を画像からビデオへ生成する。 生成したビデオの3D一貫性を高めるため,各アテンションブロックにエピポーラアテンションモジュールを統合する。 実験の結果,CamCoは従来のモデルに比べて3次元の整合性とカメラ制御能力を大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2024-06-04T17:27:19Z)
• Collaborative Video Diffusion: Consistent Multi-video Generation with Camera Control [70.17137528953953]
  コラボレーション型ビデオ拡散(CVD)は、ビデオ生成のための最先端のカメラ制御モジュール上で訓練される。 CVDは、異なるカメラ軌跡からレンダリングされた複数のビデオを、ベースラインよりもはるかに優れた一貫性で生成する。
  論文  参考訳（メタデータ） (2024-05-27T17:58:01Z)
• Generative Camera Dolly: Extreme Monocular Dynamic Novel View Synthesis [43.02778060969546]
  制御可能な単分子動的ビュー合成パイプラインを提案する。 我々のモデルは入力として深度を必要としないし、明示的に3次元シーン形状をモデル化しない。 私たちのフレームワークは、リッチな動的シーン理解、ロボット工学の知覚、バーチャルリアリティのためのインタラクティブな3Dビデオ視聴体験において、強力なアプリケーションをアンロックできる可能性があると考えています。
  論文  参考訳（メタデータ） (2024-05-23T17:59:52Z)
• ControlVideo: Training-free Controllable Text-to-Video Generation [117.06302461557044]
  ControlVideoは、自然で効率的なテキスト・ビデオ生成を可能にするフレームワークである。 NVIDIA 2080Tiを使って、ショートビデオとロングビデオの両方を数分で生成する。
  論文  参考訳（メタデータ） (2023-05-22T14:48:53Z)
• Playable Environments: Video Manipulation in Space and Time [98.0621309257937]
  再生可能な環境 - 空間と時間におけるインタラクティブなビデオ生成と操作のための新しい表現。 提案フレームワークでは,1枚の画像を推論時に生成し,対象物を3次元に移動させ,所望のアクションを連続して生成する。 提案手法は,各フレームの環境状態を構築し,提案したアクションモジュールで操作し,ボリュームレンダリングで画像空間に復号化することができる。
  論文  参考訳（メタデータ） (2022-03-03T18:51:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。