論文の概要: LayerPano3D: Layered 3D Panorama for Hyper-Immersive Scene Generation

• arxiv url: http://arxiv.org/abs/2408.13252v1
• Date: Fri, 23 Aug 2024 17:50:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-26 14:11:01.016058
• Title: LayerPano3D: Layered 3D Panorama for Hyper-Immersive Scene Generation
• Title（参考訳）: LayerPano3D:超没入型シーン生成のための層状3Dパノラマ
• Authors: Shuai Yang, Jing Tan, Mengchen Zhang, Tong Wu, Yixuan Li, Gordon Wetzstein, Ziwei Liu, Dahua Lin,
• Abstract要約: 3D没入型シーン生成はコンピュータビジョンとグラフィックスにおいて難しいが重要な課題である。 LayerPano3Dは、単一のテキストプロンプトからフルビューで探索可能なパノラマ3Dシーンを生成するための新しいフレームワークである。
• 参考スコア（独自算出の注目度）: 105.52153675890408
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: 3D immersive scene generation is a challenging yet critical task in computer vision and graphics. A desired virtual 3D scene should 1) exhibit omnidirectional view consistency, and 2) allow for free exploration in complex scene hierarchies. Existing methods either rely on successive scene expansion via inpainting or employ panorama representation to represent large FOV scene environments. However, the generated scene suffers from semantic drift during expansion and is unable to handle occlusion among scene hierarchies. To tackle these challenges, we introduce LayerPano3D, a novel framework for full-view, explorable panoramic 3D scene generation from a single text prompt. Our key insight is to decompose a reference 2D panorama into multiple layers at different depth levels, where each layer reveals the unseen space from the reference views via diffusion prior. LayerPano3D comprises multiple dedicated designs: 1) we introduce a novel text-guided anchor view synthesis pipeline for high-quality, consistent panorama generation. 2) We pioneer the Layered 3D Panorama as underlying representation to manage complex scene hierarchies and lift it into 3D Gaussians to splat detailed 360-degree omnidirectional scenes with unconstrained viewing paths. Extensive experiments demonstrate that our framework generates state-of-the-art 3D panoramic scene in both full view consistency and immersive exploratory experience. We believe that LayerPano3D holds promise for advancing 3D panoramic scene creation with numerous applications.
• Abstract（参考訳）: 3D没入型シーン生成はコンピュータビジョンとグラフィックスにおいて難しいが重要な課題である。 希望する仮想3Dシーン 1)一方向視の整合性を示し、 2)複雑なシーン階層における自由な探索を可能にする。 既存の方法は、塗装による連続的なシーン展開に依存するか、大規模なFOVシーン環境を表現するためにパノラマ表現を使用するかのいずれかである。 しかし、生成されたシーンは拡張中にセマンティックドリフトに悩まされ、シーン階層間のオクルージョンを処理できない。 これらの課題に対処するために、単一テキストプロンプトからパノラマ3Dシーンを生成するための新しいフレームワークであるLayerPano3Dを紹介した。 我々の重要な洞察は、参照2Dパノラマを異なる深さの複数の層に分解し、各層が参照ビューから拡散前の参照ビューから見えない空間を明らかにすることである。 LayerPano3Dは複数の専用デザインで構成されています。 1) 高品質で一貫したパノラマ生成のためのテキスト誘導型アンカービュー合成パイプラインを提案する。 2) 複雑なシーン階層を管理し,それを3次元ガウシアンに持ち上げ,360度全方向の細かなシーンを非拘束視程で切り離すための基礎的な表現として,Layered 3D Panoramaを開拓した。 大規模な実験により,本フレームワークはフルビューの一貫性と没入型探索経験の両方において,最先端の3次元パノラマシーンを生成することが示された。 LayerPano3Dは、多くのアプリケーションで3Dパノラマシーンを作成することを約束しています。

関連論文リスト

• DiffPano: Scalable and Consistent Text to Panorama Generation with Spherical Epipolar-Aware Diffusion [60.45000652592418]
  本稿では,テキスト駆動型パノラマ生成フレームワークDiffPanoを提案し,拡張性,一貫性,多様なパノラマシーン生成を実現する。 DiffPanoは、不明瞭なテキスト記述とカメラのポーズによって、一貫した多様なパノラマ画像を生成することができることを示す。
  論文  参考訳（メタデータ） (2024-10-31T17:57:02Z)
• SceneDreamer360: Text-Driven 3D-Consistent Scene Generation with Panoramic Gaussian Splatting [53.32467009064287]
  テキスト駆動型3D一貫性シーン生成モデルSceneDreamer360を提案する。 提案手法は,テキスト駆動パノラマ画像生成モデルを3次元シーン生成の先行モデルとして活用する。 SceneDreamer360はそのパノラマ画像生成と3DGSにより、より高品質で空間的に整合性があり、視覚的に魅力的な3Dシーンを任意のテキストプロンプトから生成できることを示した。
  論文  参考訳（メタデータ） (2024-08-25T02:56:26Z)
• HoloDreamer: Holistic 3D Panoramic World Generation from Text Descriptions [31.342899807980654]
  3Dシーン生成は、仮想現実、ゲーム、映画産業など、さまざまな領域で高い需要がある。 フル3Dシーンの全体的初期化として,最初に高精細パノラマを生成するフレームワークであるHoloDreamerを紹介する。 そして、3Dガウススティング(3D-GS)を活用して3Dシーンを迅速に再構築し、ビュー一貫性と完全に囲まれた3Dシーンの作成を容易にする。
  論文  参考訳（メタデータ） (2024-07-21T14:52:51Z)
• FastScene: Text-Driven Fast 3D Indoor Scene Generation via Panoramic Gaussian Splatting [15.648080938815879]
  高速かつ高品質な3Dシーン生成のためのフレームワークであるFastSceneを提案する。 FastSceneは15分以内に3Dシーンを生成することができる。
  論文  参考訳（メタデータ） (2024-05-09T13:44:16Z)
• DreamScene360: Unconstrained Text-to-3D Scene Generation with Panoramic Gaussian Splatting [56.101576795566324]
  テキストから3D 360$circ$のシーン生成パイプラインを提示する。 提案手法は, 2次元拡散モデルの生成力を利用して, 自己複製を促進する。 当社の手法は,360ドル(約3万2000円)の視野内で,グローバルに一貫した3Dシーンを提供する。
  論文  参考訳（メタデータ） (2024-04-10T10:46:59Z)
• PERF: Panoramic Neural Radiance Field from a Single Panorama [109.31072618058043]
  PERFはパノラマ性神経放射場を1つのパノラマから訓練する新しいビュー合成フレームワークである。 本研究では,360度2Dシーンを3Dシーンに持ち上げるために,新しい共同RGBDインペイント法とプログレッシブ・インペイント・アンド・エラスティング法を提案する。 PERFは,パノラマから3D,テキストから3D,3Dシーンのスタイリングなど,現実世界のアプリケーションに広く利用することができる。
  論文  参考訳（メタデータ） (2023-10-25T17:59:01Z)
• SceneDreamer: Unbounded 3D Scene Generation from 2D Image Collections [49.802462165826554]
  SceneDreamerは,非有界な3次元シーンの無条件生成モデルである。 フレームワークは,3Dアノテーションを使わずに,Wild 2Dイメージコレクションのみから学習する。
  論文  参考訳（メタデータ） (2023-02-02T18:59:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。