論文の概要: A 3D-Driven Framework for Moving-Camera Perspective-to-360° Video Generation
- arxiv url: http://arxiv.org/abs/2610.25395v1
- Date: Sun, 18 Oct 2026 16:47:27 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-10-20 22:23:44.478105
- Title: A 3D-Driven Framework for Moving-Camera Perspective-to-360° Video Generation
- Title(参考訳): 動画像視点から360°映像生成のための3D駆動型フレームワーク
- Abstract要約: 既存の方法は、1つの条件付きビデオモデルに異なる要件を割り当てる。
これら3つの責務を特殊なコンポーネントに分散するモジュール型3D駆動フレームワークを提案する。
我々はArgus評価セットの静的な部分集合上で、最先端の入力-ビューの忠実さ、知覚的品質、幾何学的整合性を実現する。
- 参考スコア(独自算出の注目度): 24.644024672937647
- License:
- Abstract: Turning a moving-camera perspective video into a 360° video requires more than just generating content outside the input frame: observations revealed over time must be preserved, unseen regions completed, and the resulting scene kept consistent as the camera viewpoint changes. Existing methods assign these different requirements to a single conditional video model, requiring them to be jointly learned from panoramic video data. We instead present a modular, 3D-driven framework that distributes these three responsibilities across specialized components, all connected through a shared scene representation. Input observations are reconstructed explicitly in 3D, while a pretrained panoramic image model completes unobserved content from a selected panoramic render. This generated content is lifted into the shared 3D scene, where it remains spatially anchored across camera viewpoints. Without requiring any additional panoramic-video training, our framework achieves state-of-the-art input-view fidelity, perceptual quality, and geometric consistency on a static-scene subset of the Argus evaluation set. These results support our decomposed, 3D-driven formulation as a promising alternative to direct video generation in this setting.
- Abstract(参考訳): 移動カメラの視点映像を360度ビデオに変換するには、単に入力フレーム外のコンテンツを生成するだけでなく、時間の経過とともに明らかになった観察を保存し、見えない領域を完了させ、その結果のシーンはカメラの視点が変化するにつれて一貫性を保つ必要がある。
既存の方法は、これらの異なる要件を単一の条件付きビデオモデルに割り当て、パノラマビデオデータから共同で学習する必要がある。
代わりに、モジュール式で3D駆動のフレームワークを提示し、これら3つの責務を、それぞれが共有シーン表現を介して接続される特別なコンポーネントに分散させます。
予め訓練されたパノラマ画像モデルでは、選択したパノラマレンダリングから未観測コンテンツを完成させるが、入力観察は3Dで明示的に再構成される。
この生成されたコンテンツは共有された3Dシーンに持ち上げられ、カメラの視点で空間的に固定される。
本フレームワークは,パノラマビデオトレーニングを必要とせずに,Argus評価セットの静的シーンサブセット上で,最先端の入力-ビュー忠実度,知覚的品質,幾何学的整合性を実現する。
これらの結果は、この環境での直接ビデオ生成の代替として、分解された3D駆動の定式化をサポートする。
関連論文リスト
- SceneAE: Scene Generation and Reconstruction in Queryable 3D-Anchored Latent Space [43.55801458073369]
本研究では,コンパクトで非構造な3Dアンコール型潜伏空間を,シーンの再構成と生成のために提案する。
生成のために、幾何学的内容分離を利用して、まずカメラ制御された3次元幾何を生成し、その上に条件付きコンテンツを合成する。
実験により、この3D潜伏剤は、より優れた生成品質、計算コスト、カメラ制御性を実現することが示された。
論文 参考訳(メタデータ) (2026-10-14T07:37:31Z) - WorldStereo: Bridging Camera-Guided Video Generation and Scene Reconstruction via 3D Geometric Memories [36.79437857022868]
WorldStereoは、カメラ誘導のビデオ生成と3D再構成を橋渡しする新しいフレームワークだ。
我々はWorldStereoが強力な世界モデルとして機能し,多種多様なシーン生成タスクと高忠実度3D結果に対処していることを示す。
論文 参考訳(メタデータ) (2026-03-02T16:36:56Z) - 3D Scene Prompting for Scene-Consistent Camera-Controllable Video Generation [55.29423122177883]
3DScenePromptは任意の長さの入力から次のチャンクを生成するフレームワークである。
カメラの制御とシーンの一貫性の維持を可能にする。
我々のフレームワークは、シーンの一貫性、カメラ制御性、生成品質において、既存の手法よりも大幅に優れています。
論文 参考訳(メタデータ) (2025-10-16T17:55:25Z) - Beyond the Frame: Generating 360° Panoramic Videos from Perspective Videos [64.10180665546237]
360degのビデオは、私たちの周囲のより完全な視点を提供する。
既存のビデオモデルは、標準的なビデオを作るのに優れているが、完全なパノラマビデオを生成する能力は、まだ明らかになっていない。
高品質なデータフィルタリングパイプラインを開発し、双方向のトレーニングデータをキュレートし、360度ビデオ生成の品質を向上させる。
実験結果から,本モデルでは実写的でコヒーレントな360デグ映像を撮影できることが示された。
論文 参考訳(メタデータ) (2025-04-10T17:51:38Z) - Generating 3D-Consistent Videos from Unposed Internet Photos [68.944029293283]
カメラパラメータなどの3Dアノテーションを使わずに,スケーラブルな3D対応ビデオモデルをトレーニングする。
その結果,映像やマルチビューインターネット写真などの2次元データのみを用いて,シーンレベルの3D学習をスケールアップできることが示唆された。
論文 参考訳(メタデータ) (2024-11-20T18:58:31Z) - Video Autoencoder: self-supervised disentanglement of static 3D
structure and motion [60.58836145375273]
ビデオから3次元構造とカメラポーズの遠心分離表現を学習するために,ビデオオートエンコーダを提案する。
この表現は、新しいビュー合成、カメラポーズ推定、動きの追従によるビデオ生成など、様々なタスクに適用することができる。
論文 参考訳(メタデータ) (2021-10-06T17:57:42Z) - Unsupervised Video Prediction from a Single Frame by Estimating 3D
Dynamic Scene Structure [42.3091008598491]
まず,移動物体のセグメンテーションを含むシーンの潜伏3次元構造を推定するモデルを開発する。
そして、オブジェクトとカメラのダイナミクスをシミュレートし、その結果のビューをレンダリングすることで、将来のフレームを予測する。
自然ビデオの2つの挑戦的なデータセットの実験により、我々のモデルは単一のフレームから3次元構造と動きのセグメンテーションを推定できることを示した。
論文 参考訳(メタデータ) (2021-06-16T18:00:12Z) - Online Adaptation for Consistent Mesh Reconstruction in the Wild [147.22708151409765]
入ってくるテストビデオに適用する自己教師型オンライン適応問題として、ビデオベースの再構成を行う。
我々は,野生で捕獲された動物を含む非剛体物体のビデオから,時間的に一貫した信頼性の高い3D構造を復元できることを実証した。
論文 参考訳(メタデータ) (2020-12-06T07:22:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。