論文の概要: CompGS: Unleashing 2D Compositionality for Compositional Text-to-3D via Dynamically Optimizing 3D Gaussians

• arxiv url: http://arxiv.org/abs/2410.20723v1
• Date: Mon, 28 Oct 2024 04:35:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 12:22:30.060174
• Title: CompGS: Unleashing 2D Compositionality for Compositional Text-to-3D via Dynamically Optimizing 3D Gaussians
• Title（参考訳）: CompGS:3Dガウスを動的に最適化した合成テキストから3Dへの2D合成性
• Authors: Chongjian Ge, Chenfeng Xu, Yuanfeng Ji, Chensheng Peng, Masayoshi Tomizuka, Ping Luo, Mingyu Ding, Varun Jampani, Wei Zhan,
• Abstract要約: CompGS は 3D Gaussian Splatting (GS) を用いた,効率的なテキストから3Dコンテンツ生成のための新しい生成フレームワークである。 CompGSは簡単に3D編集に拡張でき、シーン生成を容易にする。
• 参考スコア（独自算出の注目度）: 97.15119679296954
• License:
• Abstract: Recent breakthroughs in text-guided image generation have significantly advanced the field of 3D generation. While generating a single high-quality 3D object is now feasible, generating multiple objects with reasonable interactions within a 3D space, a.k.a. compositional 3D generation, presents substantial challenges. This paper introduces CompGS, a novel generative framework that employs 3D Gaussian Splatting (GS) for efficient, compositional text-to-3D content generation. To achieve this goal, two core designs are proposed: (1) 3D Gaussians Initialization with 2D compositionality: We transfer the well-established 2D compositionality to initialize the Gaussian parameters on an entity-by-entity basis, ensuring both consistent 3D priors for each entity and reasonable interactions among multiple entities; (2) Dynamic Optimization: We propose a dynamic strategy to optimize 3D Gaussians using Score Distillation Sampling (SDS) loss. CompGS first automatically decomposes 3D Gaussians into distinct entity parts, enabling optimization at both the entity and composition levels. Additionally, CompGS optimizes across objects of varying scales by dynamically adjusting the spatial parameters of each entity, enhancing the generation of fine-grained details, particularly in smaller entities. Qualitative comparisons and quantitative evaluations on T3Bench demonstrate the effectiveness of CompGS in generating compositional 3D objects with superior image quality and semantic alignment over existing methods. CompGS can also be easily extended to controllable 3D editing, facilitating scene generation. We hope CompGS will provide new insights to the compositional 3D generation. Project page: https://chongjiange.github.io/compgs.html.
• Abstract（参考訳）: テキスト誘導画像生成の最近の進歩は、3D生成の分野を著しく進歩させてきた。 単一の高品質な3Dオブジェクトを生成することは、現在実現可能であり、3D空間内で合理的な相互作用を持つ複数のオブジェクトを生成する。 本稿では,3Dガウススプラッティング(GS)を用いた,効率的なテキストから3Dコンテンツ生成のための新しい生成フレームワークCompGSを紹介する。 この目的を達成するために,(1)3次元ガウスの初期化と2次元構成性: 確立された2次元構成性を変換して,エンティティ毎のガウスパラメータを初期化し,各エンティティに対する一貫した3次元先行と複数のエンティティ間の合理的な相互作用を両立させる,(2)動的最適化: スコア蒸留サンプリング(SDS)損失を用いて3次元ガウスを最適化する動的戦略を提案する。 CompGSはまず3D Gaussianを別個のエンティティに自動的に分解し、エンティティレベルとコンポジションレベルの最適化を可能にする。 さらにCompGSは、各エンティティの空間パラメータを動的に調整し、特に小さなエンティティにおいて、きめ細かい詳細を生成することで、さまざまなスケールのオブジェクトを最適化する。 T3Benchにおける定性的比較と定量的評価は、既存の手法よりも優れた画像品質とセマンティックアライメントを持つ合成3Dオブジェクトの生成におけるCompGSの有効性を示す。 CompGSは簡単に3D編集に拡張でき、シーン生成を容易にする。 CompGSが作曲3D世代に新たな洞察を提供することを期待している。 プロジェクトページ: https://chongjiange.github.io/compgs.html

関連論文リスト

• Learning Part-aware 3D Representations by Fusing 2D Gaussians and Superquadrics [16.446659867133977]
  ポイントクラウド、メッシュ、NeRF、そして3Dガウスのような低レベルの3D表現は、一般的に3Dオブジェクトやシーンを表現するために使用される。 オブジェクトやシーンをセマンティックな部分に解析する部分認識型3D再構成の実現を目指している。
  論文  参考訳（メタデータ） (2024-08-20T12:30:37Z)
• ComboVerse: Compositional 3D Assets Creation Using Spatially-Aware Diffusion Guidance [76.7746870349809]
  複雑な構成で高品質な3Dアセットを生成する3D生成フレームワークであるComboVerseについて,複数のモデルを組み合わせることを学習して紹介する。 提案手法は,標準スコア蒸留法と比較して,物体の空間的アライメントを重視している。
  論文  参考訳（メタデータ） (2024-03-19T03:39:43Z)
• GALA3D: Towards Text-to-3D Complex Scene Generation via Layout-guided Generative Gaussian Splatting [52.150502668874495]
  GALA3D, GALA3D, 生成3D GAussian, LAyout-guided control, for effective compositional text-to-3D generation。 GALA3Dは、最先端のシーンレベルの3Dコンテンツ生成と制御可能な編集のための、ユーザフレンドリーでエンドツーエンドのフレームワークである。
  論文  参考訳（メタデータ） (2024-02-11T13:40:08Z)
• SAGD: Boundary-Enhanced Segment Anything in 3D Gaussian via Gaussian Decomposition [66.80822249039235]
  3Dガウススプラッティングは、新しいビュー合成のための代替の3D表現として登場した。 SAGDは3D-GSのための概念的にシンプルで効果的な境界拡張パイプラインである。 提案手法は粗い境界問題なく高品質な3Dセグメンテーションを実現し,他のシーン編集作業にも容易に適用できる。
  論文  参考訳（メタデータ） (2024-01-31T14:19:03Z)
• AGG: Amortized Generative 3D Gaussians for Single Image to 3D [108.38567665695027]
  Amortized Generative 3D Gaussian framework (AGG) を導入する。 AGGは、共同最適化のための3Dガウス位置およびその他の外観特性の生成を分解する。 本稿では,まず3次元データの粗い表現を生成し,後に3次元ガウス超解像モジュールでアップサンプリングするカスケードパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-01-08T18:56:33Z)
• Text-to-3D using Gaussian Splatting [18.163413810199234]
  本稿では,最新の最先端表現であるガウススプラッティングをテキストから3D生成に適用する新しい手法であるGSGENを提案する。 GSGENは、高品質な3Dオブジェクトを生成し、ガウススティングの明示的な性質を活用することで既存の欠点に対処することを目的としている。 我々の手法は繊細な細部と正確な形状で3Dアセットを生成することができる。
  論文  参考訳（メタデータ） (2023-09-28T16:44:31Z)
• CC3D: Layout-Conditioned Generation of Compositional 3D Scenes [49.281006972028194]
  本稿では,複雑な3次元シーンを2次元セマンティックなシーンレイアウトで合成する条件生成モデルであるCC3Dを紹介する。 合成3D-FRONTと実世界のKITTI-360データセットに対する評価は、我々のモデルが視覚的および幾何学的品質を改善したシーンを生成することを示す。
  論文  参考訳（メタデータ） (2023-03-21T17:59:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。