論文の概要: FastScene: Text-Driven Fast 3D Indoor Scene Generation via Panoramic Gaussian Splatting

• arxiv url: http://arxiv.org/abs/2405.05768v1
• Date: Thu, 9 May 2024 13:44:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-10 13:23:01.080543
• Title: FastScene: Text-Driven Fast 3D Indoor Scene Generation via Panoramic Gaussian Splatting
• Title（参考訳）: FastScene:パノラマガウス法によるテキスト駆動型高速3D室内シーン生成
• Authors: Yikun Ma, Dandan Zhan, Zhi Jin,
• Abstract要約: 高速かつ高品質な3Dシーン生成のためのフレームワークであるFastSceneを提案する。 FastSceneは15分以内に3Dシーンを生成することができる。
• 参考スコア（独自算出の注目度）: 15.648080938815879
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Text-driven 3D indoor scene generation holds broad applications, ranging from gaming and smart homes to AR/VR applications. Fast and high-fidelity scene generation is paramount for ensuring user-friendly experiences. However, existing methods are characterized by lengthy generation processes or necessitate the intricate manual specification of motion parameters, which introduces inconvenience for users. Furthermore, these methods often rely on narrow-field viewpoint iterative generations, compromising global consistency and overall scene quality. To address these issues, we propose FastScene, a framework for fast and higher-quality 3D scene generation, while maintaining the scene consistency. Specifically, given a text prompt, we generate a panorama and estimate its depth, since the panorama encompasses information about the entire scene and exhibits explicit geometric constraints. To obtain high-quality novel views, we introduce the Coarse View Synthesis (CVS) and Progressive Novel View Inpainting (PNVI) strategies, ensuring both scene consistency and view quality. Subsequently, we utilize Multi-View Projection (MVP) to form perspective views, and apply 3D Gaussian Splatting (3DGS) for scene reconstruction. Comprehensive experiments demonstrate FastScene surpasses other methods in both generation speed and quality with better scene consistency. Notably, guided only by a text prompt, FastScene can generate a 3D scene within a mere 15 minutes, which is at least one hour faster than state-of-the-art methods, making it a paradigm for user-friendly scene generation.
• Abstract（参考訳）: テキスト駆動の3D屋内シーン生成は、ゲームやスマートホームからAR/VRアプリケーションまで幅広いアプリケーションを提供している。 ユーザフレンドリーなエクスペリエンスを確保するためには,高速かつ高忠実なシーン生成が最重要である。 しかし,既存の手法は,ユーザにとって不便な動作パラメータの複雑な手作業による記述を必要とする,長い生成プロセスによって特徴付けられる。 さらに、これらの手法はしばしば狭視野視点の反復世代に依存し、グローバルな一貫性と全体のシーン品質を損なう。 これらの問題に対処するため,高速かつ高品質な3Dシーン生成のためのフレームワークであるFastSceneを提案する。 具体的には、テキストプロンプトが与えられた場合、パノラマがシーン全体に関する情報を包含し、明示的な幾何学的制約を示すため、パノラマを生成し、その深さを推定する。 高品質な新規ビューを実現するために,CVS(Coarse View Synthesis)とPNVI(Progressive Novel View Inpainting)戦略を導入し,シーンの一貫性とビュー品質を両立させる。 その後,多視点プロジェクション(MVP)を用いて視点ビューを作成し,シーン再構築に3次元ガウススプラッティング(3DGS)を適用した。 総合的な実験では、FastSceneが生成速度と品質の両方で他のメソッドを上回り、シーンの一貫性が向上している。 特に、テキストプロンプトのみでガイドされるFastSceneは、わずか15分で3Dシーンを生成することができる。

関連論文リスト

• SceneCraft: Layout-Guided 3D Scene Generation [29.713491313796084]
  シーンクラフト(SceneCraft)は、テキスト記述や空間的レイアウトの好みに則った、室内の詳細なシーンを生成する新しい方法である。 本手法は,多様なテクスチャ,一貫した幾何,現実的な視覚的品質を有する複雑な屋内シーン生成において,既存のアプローチを著しく上回っている。
  論文  参考訳（メタデータ） (2024-10-11T17:59:58Z)
• SceneDreamer360: Text-Driven 3D-Consistent Scene Generation with Panoramic Gaussian Splatting [53.32467009064287]
  テキスト駆動型3D一貫性シーン生成モデルSceneDreamer360を提案する。 提案手法は,テキスト駆動パノラマ画像生成モデルを3次元シーン生成の先行モデルとして活用する。 SceneDreamer360はそのパノラマ画像生成と3DGSにより、より高品質で空間的に整合性があり、視覚的に魅力的な3Dシーンを任意のテキストプロンプトから生成できることを示した。
  論文  参考訳（メタデータ） (2024-08-25T02:56:26Z)
• LayerPano3D: Layered 3D Panorama for Hyper-Immersive Scene Generation [105.52153675890408]
  3D没入型シーン生成はコンピュータビジョンとグラフィックスにおいて難しいが重要な課題である。 LayerPano3Dは、単一のテキストプロンプトからフルビューで探索可能なパノラマ3Dシーンを生成するための新しいフレームワークである。
  論文  参考訳（メタデータ） (2024-08-23T17:50:23Z)
• HoloDreamer: Holistic 3D Panoramic World Generation from Text Descriptions [31.342899807980654]
  3Dシーン生成は、仮想現実、ゲーム、映画産業など、さまざまな領域で高い需要がある。 フル3Dシーンの全体的初期化として,最初に高精細パノラマを生成するフレームワークであるHoloDreamerを紹介する。 そして、3Dガウススティング(3D-GS)を活用して3Dシーンを迅速に再構築し、ビュー一貫性と完全に囲まれた3Dシーンの作成を容易にする。
  論文  参考訳（メタデータ） (2024-07-21T14:52:51Z)
• WonderWorld: Interactive 3D Scene Generation from a Single Image [38.83667648993784]
  我々はインタラクティブな3Dシーン生成のための新しいフレームワークWonderWorldを紹介する。 WonderWorldは、単一のA6000 GPU上で10秒未満で接続された多様な3Dシーンを生成する。
  論文  参考訳（メタデータ） (2024-06-13T17:59:10Z)
• Invisible Stitch: Generating Smooth 3D Scenes with Depth Inpainting [75.7154104065613]
  本稿では,3次元融合過程を学習するために,教師の蒸留と自己学習によって訓練された新しい深度補完モデルを提案する。 また,地上の真理幾何に基づくシーン生成手法のベンチマーク手法も導入した。
  論文  参考訳（メタデータ） (2024-04-30T17:59:40Z)
• 3D-SceneDreamer: Text-Driven 3D-Consistent Scene Generation [51.64796781728106]
  本稿では,2次元拡散モデル以前の自然画像と,現在のシーンのグローバルな3次元情報を利用して,高品質で新しいコンテンツを合成する生成的精細化ネットワークを提案する。 提案手法は,視覚的品質と3次元の整合性を改善した多種多様なシーン生成と任意のカメラトラジェクトリをサポートする。
  論文  参考訳（メタデータ） (2024-03-14T14:31:22Z)
• SceneWiz3D: Towards Text-guided 3D Scene Composition [134.71933134180782]
  既存のアプローチでは、大規模なテキスト・ツー・イメージモデルを使用して3D表現を最適化するか、オブジェクト中心のデータセット上で3Dジェネレータをトレーニングする。 テキストから高忠実度3Dシーンを合成する新しい手法であるSceneWiz3Dを紹介する。
  論文  参考訳（メタデータ） (2023-12-13T18:59:30Z)
• RoomDreamer: Text-Driven 3D Indoor Scene Synthesis with Coherent Geometry and Texture [80.0643976406225]
  本稿では、強力な自然言語を利用して異なるスタイルの部屋を合成する「RoomDreamer」を提案する。 本研究は,入力シーン構造に整合した形状とテクスチャを同時に合成することの課題に対処する。 提案手法を検証するため,スマートフォンでスキャンした屋内シーンを大規模な実験に利用した。
  論文  参考訳（メタデータ） (2023-05-18T22:57:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。