論文の概要: GALA3D: Towards Text-to-3D Complex Scene Generation via Layout-guided Generative Gaussian Splatting

• arxiv url: http://arxiv.org/abs/2402.07207v2
• Date: Tue, 11 Jun 2024 15:16:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-12 22:32:43.540123
• Title: GALA3D: Towards Text-to-3D Complex Scene Generation via Layout-guided Generative Gaussian Splatting
• Title（参考訳）: GALA3D:Layout-guided Generative Gaussian Splattingによるテキストから3D複合シーン生成に向けて
• Authors: Xiaoyu Zhou, Xingjian Ran, Yajiao Xiong, Jinlin He, Zhiwei Lin, Yongtao Wang, Deqing Sun, Ming-Hsuan Yang,
• Abstract要約: GALA3D, GALA3D, 生成3D GAussian, LAyout-guided control, for effective compositional text-to-3D generation。 GALA3Dは、最先端のシーンレベルの3Dコンテンツ生成と制御可能な編集のための、ユーザフレンドリーでエンドツーエンドのフレームワークである。
• 参考スコア（独自算出の注目度）: 52.150502668874495
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present GALA3D, generative 3D GAussians with LAyout-guided control, for effective compositional text-to-3D generation. We first utilize large language models (LLMs) to generate the initial layout and introduce a layout-guided 3D Gaussian representation for 3D content generation with adaptive geometric constraints. We then propose an instance-scene compositional optimization mechanism with conditioned diffusion to collaboratively generate realistic 3D scenes with consistent geometry, texture, scale, and accurate interactions among multiple objects while simultaneously adjusting the coarse layout priors extracted from the LLMs to align with the generated scene. Experiments show that GALA3D is a user-friendly, end-to-end framework for state-of-the-art scene-level 3D content generation and controllable editing while ensuring the high fidelity of object-level entities within the scene. The source codes and models will be available at gala3d.github.io.
• Abstract（参考訳）: GALA3D, GALA3D, 生成3D GAussian, LAyout-guided control, for effective compositional text-to-3D generation。 まず,大規模言語モデル(LLM)を用いて初期レイアウトを生成し,適応的な幾何学的制約を伴う3次元コンテンツ生成のためのレイアウト誘導型3次元ガウス表現を導入する。 次に、条件付き拡散を用いたインスタンスシーン構成最適化機構を提案し、複数のオブジェクト間の一貫した幾何、テクスチャ、スケール、正確な相互作用を持つリアルな3Dシーンを協調的に生成し、同時にLLMから抽出された粗いレイアウト先を調整し、生成されたシーンと整合させる。 実験の結果,GALA3Dは最先端のシーンレベルの3Dコンテンツ生成と制御可能な編集のためのエンド・ツー・エンド・エンド・フレームワークであり,シーン内のオブジェクトレベルのエンティティの高忠実性を確保していることがわかった。 ソースコードとモデルはgala3d.github.ioで入手できる。

関連論文リスト

• CompGS: Unleashing 2D Compositionality for Compositional Text-to-3D via Dynamically Optimizing 3D Gaussians [97.15119679296954]
  CompGS は 3D Gaussian Splatting (GS) を用いた,効率的なテキストから3Dコンテンツ生成のための新しい生成フレームワークである。 CompGSは簡単に3D編集に拡張でき、シーン生成を容易にする。
  論文  参考訳（メタデータ） (2024-10-28T04:35:14Z)
• Planner3D: LLM-enhanced graph prior meets 3D indoor scene explicit regularization [31.52569918586902]
  3Dシーンの合成は、ロボティクス、映画、ビデオゲームといった様々な産業に多様な応用がある。 本稿では,シーングラフからリアルで合理的な屋内シーンを生成することを目的とする。 本手法は,特にシーンレベルの忠実度の観点から,より優れた3次元シーン合成を実現する。
  論文  参考訳（メタデータ） (2024-03-19T15:54:48Z)
• SceneWiz3D: Towards Text-guided 3D Scene Composition [134.71933134180782]
  既存のアプローチでは、大規模なテキスト・ツー・イメージモデルを使用して3D表現を最適化するか、オブジェクト中心のデータセット上で3Dジェネレータをトレーニングする。 テキストから高忠実度3Dシーンを合成する新しい手法であるSceneWiz3Dを紹介する。
  論文  参考訳（メタデータ） (2023-12-13T18:59:30Z)
• BerfScene: Bev-conditioned Equivariant Radiance Fields for Infinite 3D Scene Generation [96.58789785954409]
  本研究では,同変放射場と鳥眼視図のガイダンスを組み込んだ実用的で効率的な3次元表現を提案する。 局所的なシーンを合成し、スムーズな一貫性で縫い合わせることで、大規模で無限スケールの3Dシーンを作ります。
  論文  参考訳（メタデータ） (2023-12-04T18:56:10Z)
• Gaussian Grouping: Segment and Edit Anything in 3D Scenes [65.49196142146292]
  ガウシアン・グルーピング(ガウシアン・グルーピング)はガウシアン・スプラッティングを拡張して,オープンワールドの3Dシーンで何かを共同で再構築・分割する。 暗黙のNeRF表現と比較すると,グループ化された3次元ガウシアンは,高画質,微粒度,高効率で,あらゆるものを3次元で再構成,分割,編集することができる。
  論文  参考訳（メタデータ） (2023-12-01T17:09:31Z)
• CC3D: Layout-Conditioned Generation of Compositional 3D Scenes [49.281006972028194]
  本稿では,複雑な3次元シーンを2次元セマンティックなシーンレイアウトで合成する条件生成モデルであるCC3Dを紹介する。 合成3D-FRONTと実世界のKITTI-360データセットに対する評価は、我々のモデルが視覚的および幾何学的品質を改善したシーンを生成することを示す。
  論文  参考訳（メタデータ） (2023-03-21T17:59:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。