論文の概要: DreamScape: 3D Scene Creation via Gaussian Splatting joint Correlation Modeling

• arxiv url: http://arxiv.org/abs/2404.09227v2
• Date: Tue, 12 Nov 2024 04:08:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-13 13:17:04.080397
• Title: DreamScape: 3D Scene Creation via Gaussian Splatting joint Correlation Modeling
• Title（参考訳）: DreamScape: Gaussian Splatting joint correlation Modeling による3次元シーン作成
• Authors: Xuening Yuan, Hongyu Yang, Yueming Zhao, Di Huang,
• Abstract要約: テキスト記述のみで高度に一貫した3Dシーンを作成する方法であるDreamScapeを提案する。 本手法では,シーン表現のための3次元ガウスガイドを,意味的プリミティブ(オブジェクト)とその空間変換によって構成する。 プログレッシブスケール制御は、局所オブジェクト生成中に調整され、異なるサイズと密度のオブジェクトがシーンに適応することを保証する。
• 参考スコア（独自算出の注目度）: 23.06464506261766
• License:
• Abstract: Recent progress in text-to-3D creation has been propelled by integrating the potent prior of Diffusion Models from text-to-image generation into the 3D domain. Nevertheless, generating 3D scenes characterized by multiple instances and intricate arrangements remains challenging. In this study, we present DreamScape, a method for creating highly consistent 3D scenes solely from textual descriptions, leveraging the strong 3D representation capabilities of Gaussian Splatting and the complex arrangement abilities of large language models (LLMs). Our approach involves a 3D Gaussian Guide ($3{DG^2}$) for scene representation, consisting of semantic primitives (objects) and their spatial transformations and relationships derived directly from text prompts using LLMs. This compositional representation allows for local-to-global optimization of the entire scene. A progressive scale control is tailored during local object generation, ensuring that objects of different sizes and densities adapt to the scene, which addresses training instability issue arising from simple blending in the subsequent global optimization stage. To mitigate potential biases of LLM priors, we model collision relationships between objects at the global level, enhancing physical correctness and overall realism. Additionally, to generate pervasive objects like rain and snow distributed extensively across the scene, we introduce a sparse initialization and densification strategy. Experiments demonstrate that DreamScape offers high usability and controllability, enabling the generation of high-fidelity 3D scenes from only text prompts and achieving state-of-the-art performance compared to other methods.
• Abstract（参考訳）: テキスト・ツー・3D生成の最近の進歩は、テキスト・ツー・イメージ生成から拡散モデルの強大な先行を3Dドメインに統合することで促進されている。 それでも、複数のインスタンスと複雑なアレンジメントを特徴とする3Dシーンの生成は難しいままである。 本研究では,Gussian Splattingの強力な3D表現能力と大規模言語モデル(LLM)の複雑な配置能力を活用することで,テキスト記述のみから高度に一貫した3Dシーンを作成する方法であるDreamScapeを提案する。 提案手法では,3次元ガウスガイド(3{DG^2}$)をシーン表現に適用し,意味的プリミティブ(オブジェクト)とその空間的変換とLLMを用いたテキストプロンプトから直接引き起こされる関係性について検討する。 この構成表現は、シーン全体の局所的-言語的最適化を可能にする。 プログレッシブスケール制御は、局所オブジェクト生成中に調整され、異なるサイズと密度のオブジェクトがシーンに適応することを保証する。 LLM先行の潜在的なバイアスを軽減するため、我々は世界レベルでのオブジェクト間の衝突関係をモデル化し、物理的正しさと全体的なリアリズムを高める。 また, 降雪や降雪などの広範囲に分布する広汎な物体を生成するために, 疎初期化と密度化の戦略を導入する。 実験により、DreamScapeは高いユーザビリティと制御性を提供し、テキストプロンプトのみから高忠実な3Dシーンを生成し、他の方法と比較して最先端のパフォーマンスを達成することができることを示した。

関連論文リスト

• GSD: View-Guided Gaussian Splatting Diffusion for 3D Reconstruction [52.04103235260539]
  単一視点からの3次元オブジェクト再構成のためのガウススプティング表現に基づく拡散モデル手法を提案する。 モデルはGS楕円体の集合で表される3Dオブジェクトを生成することを学習する。 最終的な再構成されたオブジェクトは、高品質な3D構造とテクスチャを持ち、任意のビューで効率的にレンダリングできる。
  論文  参考訳（メタデータ） (2024-07-05T03:43:08Z)
• Enhancing Generalizability of Representation Learning for Data-Efficient 3D Scene Understanding [50.448520056844885]
  本研究では,実世界のパターンを持つ多様な合成シーンを生成可能なベイズネットワークを提案する。 一連の実験は、既存の最先端の事前学習手法に比べて、我々の手法が一貫した優位性を示す。
  論文  参考訳（メタデータ） (2024-06-17T07:43:53Z)
• RealmDreamer: Text-Driven 3D Scene Generation with Inpainting and Depth Diffusion [39.03289977892935]
  RealmDreamerはテキスト記述から一般的な前方向きの3Dシーンを生成する技術である。 我々の技術はビデオやマルチビューのデータを必要とせず、様々なスタイルの高品質な3Dシーンを合成することができる。
  論文  参考訳（メタデータ） (2024-04-10T17:57:41Z)
• Planner3D: LLM-enhanced graph prior meets 3D indoor scene explicit regularization [31.52569918586902]
  3Dシーンの合成は、ロボティクス、映画、ビデオゲームといった様々な産業に多様な応用がある。 本稿では,シーングラフからリアルで合理的な屋内シーンを生成することを目的とする。 本手法は,特にシーンレベルの忠実度の観点から,より優れた3次元シーン合成を実現する。
  論文  参考訳（メタデータ） (2024-03-19T15:54:48Z)
• GALA3D: Towards Text-to-3D Complex Scene Generation via Layout-guided Generative Gaussian Splatting [52.150502668874495]
  GALA3D, GALA3D, 生成3D GAussian, LAyout-guided control, for effective compositional text-to-3D generation。 GALA3Dは、最先端のシーンレベルの3Dコンテンツ生成と制御可能な編集のための、ユーザフレンドリーでエンドツーエンドのフレームワークである。
  論文  参考訳（メタデータ） (2024-02-11T13:40:08Z)
• Denoising Diffusion via Image-Based Rendering [54.20828696348574]
  実世界の3Dシーンの高速かつ詳細な再構築と生成を可能にする最初の拡散モデルを提案する。 まず、大きな3Dシーンを効率よく正確に表現できる新しいニューラルシーン表現であるIBプレーンを導入する。 第二に,2次元画像のみを用いて,この新たな3次元シーン表現の事前学習を行うためのデノイング拡散フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-05T19:00:45Z)
• FMGS: Foundation Model Embedded 3D Gaussian Splatting for Holistic 3D Scene Understanding [11.118857208538039]
  基礎モデルの視覚言語埋め込みを3次元ガウススプラッティング(GS)に組み込んだ基礎モデル埋め込みガウススプラッティング(S)を提案する。 結果は、多面的なセマンティック一貫性を示し、様々な下流タスクを容易にし、オープン語彙言語に基づくオブジェクト検出において、最先端のメソッドを10.2%上回った。 本研究では,視覚・言語・3次元シーン表現の交わりについて検討し,制御されていない現実世界環境におけるシーン理解の強化の道を開く。
  論文  参考訳（メタデータ） (2024-01-03T20:39:02Z)
• SceneWiz3D: Towards Text-guided 3D Scene Composition [134.71933134180782]
  既存のアプローチでは、大規模なテキスト・ツー・イメージモデルを使用して3D表現を最適化するか、オブジェクト中心のデータセット上で3Dジェネレータをトレーニングする。 テキストから高忠実度3Dシーンを合成する新しい手法であるSceneWiz3Dを紹介する。
  論文  参考訳（メタデータ） (2023-12-13T18:59:30Z)
• Differentiable Blocks World: Qualitative 3D Decomposition by Rendering Primitives [70.32817882783608]
  本稿では,3次元プリミティブを用いて,シンプルでコンパクトで動作可能な3次元世界表現を実現する手法を提案する。 既存の3次元入力データに依存するプリミティブ分解法とは異なり,本手法は画像を直接操作する。 得られたテクスチャ化されたプリミティブは入力画像を忠実に再構成し、視覚的な3Dポイントを正確にモデル化する。
  論文  参考訳（メタデータ） (2023-07-11T17:58:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。