論文の概要: SceneX: Procedural Controllable Large-scale Scene Generation

• arxiv url: http://arxiv.org/abs/2403.15698v3
• Date: Tue, 17 Dec 2024 14:39:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-18 17:09:38.07644
• Title: SceneX: Procedural Controllable Large-scale Scene Generation
• Title（参考訳）: SceneX: 手続き制御可能な大規模シーン生成
• Authors: Mengqi Zhou, Yuxi Wang, Jun Hou, Shougao Zhang, Yiwei Li, Chuanchen Luo, Junran Peng, Zhaoxiang Zhang,
• Abstract要約: 本稿では,デザイナーのテキスト記述に従って高品質な手続きモデルを自動生成するSceneXを紹介する。 提案手法はPCGHubとPCGPlannerの2つのコンポーネントからなる。 後者の目的は、Blenderがユーザの指示によって誘導される制御可能で正確な3Dアセットを生成するために実行可能なアクションを生成することである。
• 参考スコア（独自算出の注目度）: 52.4743878200172
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Developing comprehensive explicit world models is crucial for understanding and simulating real-world scenarios. Recently, Procedural Controllable Generation (PCG) has gained significant attention in large-scale scene generation by enabling the creation of scalable, high-quality assets. However, PCG faces challenges such as limited modular diversity, high expertise requirements, and challenges in managing the diverse elements and structures in complex scenes. In this paper, we introduce a large-scale scene generation framework, SceneX, which can automatically produce high-quality procedural models according to designers' textual descriptions. Specifically, the proposed method comprises two components, PCGHub and PCGPlanner. The former encompasses an extensive collection of accessible procedural assets and thousands of hand-craft API documents to perform as a standard protocol for PCG controller. The latter aims to generate executable actions for Blender to produce controllable and precise 3D assets guided by the user's instructions. Extensive experiments demonstrated the capability of our method in controllable large-scale scene generation, including nature scenes and unbounded cities, as well as scene editing such as asset placement and season translation.
• Abstract（参考訳）: 包括的な明示的な世界モデルの構築は、現実世界のシナリオを理解し、シミュレートするために不可欠である。 近年,PCG(Procedural Controllable Generation)は,大規模シーン生成において,スケーラブルで高品質な資産の創出を可能にすることで大きな注目を集めている。 しかし、PCGは、モジュラーの多様性の制限、高い専門性要件、複雑な場面における多様な要素や構造を管理する上での課題といった課題に直面している。 本稿では,デザイナーのテキスト記述に基づいて高品質なプロシージャモデルを自動生成する大規模シーン生成フレームワークであるSceneXを紹介する。 具体的には,PCGHubとPCGPlannerの2つのコンポーネントからなる。 前者は、PCGコントローラの標準プロトコルとして実行するために、アクセス可能な手続き的資産と何千もの手書きのAPIドキュメントの広範なコレクションを含んでいる。 後者の目的は、Blenderがユーザの指示によって誘導される制御可能で正確な3Dアセットを生成するために実行可能なアクションを生成することである。 広範にわたる実験により, 自然景観や非有界都市, 資産配置や季節翻訳などのシーン編集など, 制御可能な大規模シーン生成における本手法の有効性が実証された。

関連論文リスト

• WorldCraft: Photo-Realistic 3D World Creation and Customization via LLM Agents [67.31920821192323]
  大規模言語モデル(LLM)エージェントがプロシージャ生成を利用してオブジェクトを集約したシーンを生成するシステムであるWorldCraftを紹介する。 本フレームワークでは,コーディネータエージェントが全体の処理を管理し,シーン作成を完了させるために2つの特殊なLLMエージェントと連携する。 パイプラインには軌道制御エージェントが組み込まれており、ユーザはシーンをアニメーション化し、自然言語による対話を通じてカメラを操作することができる。
  論文  参考訳（メタデータ） (2025-02-21T17:18:30Z)
• PhiP-G: Physics-Guided Text-to-3D Compositional Scene Generation [5.554872561486615]
  合成シーン生成のための新しいフレームワークPhiP-Gを提案する。 PhiP-Gは、世界モデルに基づくレイアウトガイダンスと生成技術をシームレスに統合する。 実験により、PhiP-Gは合成シーンの生成品質と物理的合理性を大幅に向上させることが示された。
  論文  参考訳（メタデータ） (2025-02-02T07:47:03Z)
• Proc-GS: Procedural Building Generation for City Assembly with 3D Gaussians [65.09942210464747]
  資産の創出は労働集約的であり、設計ルールを開発するには専門的なスキルが必要である。 作成のための最近の生成モデルは、しばしばこれらのパターンを見落とし、視覚的忠実度が低く、スケーラビリティが制限される。 手続き的なコードを操作することで、このプロセスを合理化し、無限に多様な建物を生成することができます。
  論文  参考訳（メタデータ） (2024-12-10T16:45:32Z)
• Generating Compositional Scenes via Text-to-image RGBA Instance Generation [82.63805151691024]
  テキストから画像への拡散生成モデルは、退屈な急進的なエンジニアリングを犠牲にして高品質な画像を生成することができる。 本稿では, 粒度制御, 柔軟性, 相互作用性を考慮した新しい多段階生成パラダイムを提案する。 実験の結果,RGBA拡散モデルでは,オブジェクト属性を正確に制御した多種多様な高品質なインスタンスを生成できることがわかった。
  論文  参考訳（メタデータ） (2024-11-16T23:44:14Z)
• Architect: Generating Vivid and Interactive 3D Scenes with Hierarchical 2D Inpainting [47.014044892025346]
  Architectは、拡散ベースの2Dイメージのインペイントを活用する、複雑で現実的な3Dエボダイド環境を作成する、生成フレームワークである。 我々のパイプラインはさらに階層的かつ反復的な塗装プロセスに拡張され、大きな家具や小さな物体の配置を連続的に生成し、シーンを豊かにする。
  論文  参考訳（メタデータ） (2024-11-14T22:15:48Z)
• SceneCraft: Layout-Guided 3D Scene Generation [29.713491313796084]
  シーンクラフト(SceneCraft)は、テキスト記述や空間的レイアウトの好みに則った、室内の詳細なシーンを生成する新しい方法である。 本手法は,多様なテクスチャ,一貫した幾何,現実的な視覚的品質を有する複雑な屋内シーン生成において,既存のアプローチを著しく上回っている。
  論文  参考訳（メタデータ） (2024-10-11T17:59:58Z)
• CityX: Controllable Procedural Content Generation for Unbounded 3D Cities [55.737060358043536]
  そこで我々は,CityXという新しいマルチモーダル制御可能な手続き型コンテンツ生成手法を提案する。 OSM、セマンティックマップ、衛星画像など、複数のレイアウト条件でガイドされるリアルで無拘束の3D都市生成を強化する。 この効果的なフレームワークを通じて、CityXは3Dシーン生成のための革新的なエコシステムを構築する可能性を示している。
  論文  参考訳（メタデータ） (2024-07-24T18:05:13Z)
• HoloDreamer: Holistic 3D Panoramic World Generation from Text Descriptions [31.342899807980654]
  3Dシーン生成は、仮想現実、ゲーム、映画産業など、さまざまな領域で高い需要がある。 フル3Dシーンの全体的初期化として,最初に高精細パノラマを生成するフレームワークであるHoloDreamerを紹介する。 そして、3Dガウススティング(3D-GS)を活用して3Dシーンを迅速に再構築し、ビュー一貫性と完全に囲まれた3Dシーンの作成を容易にする。
  論文  参考訳（メタデータ） (2024-07-21T14:52:51Z)
• PosterLLaVa: Constructing a Unified Multi-modal Layout Generator with LLM [58.67882997399021]
  本研究では,グラフィックレイアウトの自動生成のための統合フレームワークを提案する。 データ駆動方式では、レイアウトを生成するために構造化テキスト(JSONフォーマット)とビジュアルインストラクションチューニングを用いる。 我々は,ユーザのデザイン意図に基づいて編集可能なポスターを生成する自動テキスト投稿システムを開発した。
  論文  参考訳（メタデータ） (2024-06-05T03:05:52Z)
• CLAY: A Controllable Large-scale Generative Model for Creating High-quality 3D Assets [43.315487682462845]
  CLAYは、人間の想像力を複雑な3Dデジタル構造に変換するために設計された3D幾何学および材料生成装置である。 中心となるのは、多解像度変分オートエンコーダ(VAE)と最小遅延拡散変換器(DiT)からなる大規模生成モデルである。 我々はCLAYを、スケッチ的な概念設計から複雑な詳細を持つ生産可能な資産まで、様々な制御可能な3Dアセット作成に活用することを実証する。
  論文  参考訳（メタデータ） (2024-05-30T05:57:36Z)
• 3D-SceneDreamer: Text-Driven 3D-Consistent Scene Generation [51.64796781728106]
  本稿では,2次元拡散モデル以前の自然画像と,現在のシーンのグローバルな3次元情報を利用して,高品質で新しいコンテンツを合成する生成的精細化ネットワークを提案する。 提案手法は,視覚的品質と3次元の整合性を改善した多種多様なシーン生成と任意のカメラトラジェクトリをサポートする。
  論文  参考訳（メタデータ） (2024-03-14T14:31:22Z)
• GALA3D: Towards Text-to-3D Complex Scene Generation via Layout-guided Generative Gaussian Splatting [52.150502668874495]
  GALA3D, GALA3D, 生成3D GAussian, LAyout-guided control, for effective compositional text-to-3D generation。 GALA3Dは、最先端のシーンレベルの3Dコンテンツ生成と制御可能な編集のための、ユーザフレンドリーでエンドツーエンドのフレームワークである。
  論文  参考訳（メタデータ） (2024-02-11T13:40:08Z)
• CommonScenes: Generating Commonsense 3D Indoor Scenes with Scene Graph Diffusion [83.30168660888913]
  シーングラフを対応する制御可能な3Dシーンに変換する完全生成モデルであるCommonScenesを提案する。 パイプラインは2つのブランチで構成されており、1つは変分オートエンコーダでシーン全体のレイアウトを予測し、もう1つは互換性のある形状を生成する。 生成されたシーンは、入力シーングラフを編集し、拡散モデルのノイズをサンプリングすることで操作することができる。
  論文  参考訳（メタデータ） (2023-05-25T17:39:13Z)
• NeuralField-LDM: Scene Generation with Hierarchical Latent Diffusion Models [85.20004959780132]
  複雑な3D環境を合成できる生成モデルであるNeuralField-LDMを紹介する。 NeuralField-LDMは,条件付きシーン生成,シーンインペインティング,シーンスタイル操作など,さまざまな3Dコンテンツ作成アプリケーションに利用できることを示す。
  論文  参考訳（メタデータ） (2023-04-19T16:13:21Z)
• Compositional Transformers for Scene Generation [13.633811200719627]
  本稿では,生成モデルのための反復的オブジェクト指向変換器であるGANformer2モデルを紹介する。 視覚的品質,多様性,一貫性の観点から,最先端のパフォーマンスを実現していることを示す。 さらなる実験はモデルの絡み合いを実証し、生成過程についてより深い洞察を与える。
  論文  参考訳（メタデータ） (2021-11-17T08:11:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。