論文の概要: CityX: Controllable Procedural Content Generation for Unbounded 3D Cities

• arxiv url: http://arxiv.org/abs/2407.17572v4
• Date: Mon, 09 Dec 2024 09:30:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 23:11:43.666649
• Title: CityX: Controllable Procedural Content Generation for Unbounded 3D Cities
• Title（参考訳）: CityX: 無制限3D都市のための制御可能な手続き型コンテンツ生成
• Authors: Shougao Zhang, Mengqi Zhou, Yuxi Wang, Chuanchen Luo, Rongyu Wang, Yiwei Li, Zhaoxiang Zhang, Junran Peng,
• Abstract要約: 現在の生成法は多様性、可制御性または忠実度に乏しい。 本研究では,高忠実度生成のための手続き的コンテンツ生成(PCG)技術を利用する。 我々は,OSM,セマンティックマップ,衛星画像などのマルチモーダル命令を実行可能なプログラムに変換するマルチエージェントフレームワークを開発した。 提案手法はCityXと呼ばれ,多種多様で制御可能でリアルな3D都市景観の創出において,その優位性を実証するものである。
• 参考スコア（独自算出の注目度）: 50.10101235281943
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Urban areas, as the primary human habitat in modern civilization, accommodate a broad spectrum of social activities. With the surge of embodied intelligence, recent years have witnessed an increasing presence of physical agents in urban areas, such as autonomous vehicles and delivery robots. As a result, practitioners significantly value crafting authentic, simulation-ready 3D cities to facilitate the training and verification of such agents. However, this task is quite challenging. Current generative methods fall short in either diversity, controllability, or fidelity. In this work, we resort to the procedural content generation (PCG) technique for high-fidelity generation. It assembles superior assets according to empirical rules, ultimately leading to industrial-grade outcomes. To ensure diverse and self contained creation, we design a management protocol to accommodate extensive PCG plugins with distinct functions and interfaces. Based on this unified PCG library, we develop a multi-agent framework to transform multi-modal instructions, including OSM, semantic maps, and satellite images, into executable programs. The programs coordinate relevant plugins to construct the 3D city consistent with the control condition. A visual feedback scheme is introduced to further refine the initial outcomes. Our method, named CityX, demonstrates its superiority in creating diverse, controllable, and realistic 3D urban scenes. The synthetic scenes can be seamlessly deployed as a real-time simulator and an infinite data generator for embodied intelligence research. Our project page: https://cityx-lab.github.io.
• Abstract（参考訳）: 現代文明における主要な人間の居住地である都市部は、幅広い社会活動に対応している。 エンボディード・インテリジェンス(英語版)の急増に伴い、近年は自動運転車や配達ロボットといった都市部で物理エージェントの存在が増えているのを目撃している。 その結果、実践者は、これらのエージェントの訓練と検証を容易にするために、真正でシミュレーション可能な3D都市を作ることを著しく評価した。 しかし、この課題は非常に難しい。 現在の生成法は多様性、可制御性または忠実度に乏しい。 本研究では,高忠実度生成のための手続き的コンテンツ生成(PCG)技術を利用する。 経験則に従って優れた資産を組み立て、最終的に工業グレードの成果をもたらす。 そこで我々は,多様かつ自己包摂的な作成を保証するため,異なる機能やインターフェースを持つPCGプラグインに対応するための管理プロトコルを設計する。 この統合PCGライブラリをベースとして,OSM,セマンティックマップ,衛星画像などのマルチモーダル命令を実行可能なプログラムに変換するマルチエージェントフレームワークを開発した。 プログラムは、関連するプラグインをコーディネートして、制御条件と整合した3D都市を構築する。 視覚的フィードバックスキームを導入し、初期結果をさらに洗練する。 提案手法はCityXと呼ばれ,多種多様で制御可能でリアルな3D都市景観の創出において,その優位性を実証するものである。 合成シーンは、リアルタイムシミュレータと無限のデータジェネレータとしてシームレスに展開し、インテリジェンス研究を実施できる。 プロジェクトページはhttps://cityx-lab.github.ioです。

関連論文リスト

• GenEx: Generating an Explorable World [59.0666303068111]
  我々は、その生成的想像力によって導かれる複雑なエンボディ世界探査を計画できるシステムGenExを紹介する。 GenExは、単一のRGB画像から3D一貫性のある想像環境全体を生成します。 GPT支援エージェントは、ゴールに依存しない探索とゴール駆動ナビゲーションの両方を含む複雑な実施作業を行う。
  論文  参考訳（メタデータ） (2024-12-12T18:59:57Z)
• Proc-GS: Procedural Building Generation for City Assembly with 3D Gaussians [65.09942210464747]
  資産の創出は労働集約的であり、設計ルールを開発するには専門的なスキルが必要である。 作成のための最近の生成モデルは、しばしばこれらのパターンを見落とし、視覚的忠実度が低く、スケーラビリティが制限される。 手続き的なコードを操作することで、このプロセスを合理化し、無限に多様な建物を生成することができます。
  論文  参考訳（メタデータ） (2024-12-10T16:45:32Z)
• GaussianAnything: Interactive Point Cloud Latent Diffusion for 3D Generation [75.39457097832113]
  本稿では,インタラクティブなポイントクラウド構造ラテント空間を備えたスケーラブルで高品質な3D生成を実現する,新しい3D生成フレームワークを提案する。 本フレームワークでは,複数ビューのRGB-D(epth)-N(ormal)レンダリングを入力として使用する変分オートエンコーダを,3次元形状情報を保存する独自のラテント空間設計を用いて構成する。 提案手法であるGaussianAnythingは,複数モード条件付き3D生成をサポートし,ポイントクラウド,キャプション,シングル/マルチビュー画像入力を可能にする。
  論文  参考訳（メタデータ） (2024-11-12T18:59:32Z)
• LogiCity: Advancing Neuro-Symbolic AI with Abstract Urban Simulation [60.920536939067524]
  我々は,複数の動的エージェントを持つ都市型環境を対象とした,カスタマイズ可能な一階述語論理(FOL)に基づく最初のシミュレータであるLogiCityを紹介する。 LogiCityは、IsAmbulance(X)やIsClose(X, Y)のような意味的および空間的概念を用いた多様な都市要素をモデル化する LogiCityの重要な機能は、ユーザ設定可能な抽象化のサポートであり、論理的推論のためにカスタマイズ可能なシミュレーションの複雑さを可能にする。
  論文  参考訳（メタデータ） (2024-11-01T17:59:46Z)
• 3D Question Answering for City Scene Understanding [12.433903847890322]
  3Dマルチモーダル質問応答(MQA)は,知的エージェントが周囲を3D環境下で理解できるようにすることによって,シーン理解において重要な役割を担っている。 都市レベルのシーン理解のための3D MQAデータセットCity-3DQAを提案する。 新しいベンチマークを報告し,提案したSg-CityUはCity-3DQAの異なる設定で63.94 %と63.76 %の精度を達成する。
  論文  参考訳（メタデータ） (2024-07-24T16:22:27Z)
• UrbanWorld: An Urban World Model for 3D City Generation [21.21375372182025]
  UrbanWorldは、フレキシブルな制御条件を備えたカスタマイズされたリアルでインタラクティブな3D都市世界を自動生成できる、ジェネレーティブな都市世界モデルである。 我々は5つの視覚的指標について広範囲に定量的に分析を行い、UrbanWorldがSOTA生成リアリズムを実現していることを示す。 エージェントの認識とナビゲーションを生成環境内で示すことで,これらの環境のインタラクティブな性質を検証する。
  論文  参考訳（メタデータ） (2024-07-16T17:59:29Z)
• CityCraft: A Real Crafter for 3D City Generation [25.7885801163556]
  CityCraftは、都市シーン生成の多様性と品質の両方を強化するために設計された革新的なフレームワークである。 提案手法は,まず拡散変圧器(DiT)モデルを用いて,多種かつ制御可能な2次元都市レイアウトを生成する。 生成したレイアウトと都市計画に基づいて,Blenderとアセット検索モジュールを用いて,正確なアセット配置とシーン構築を行う。
  論文  参考訳（メタデータ） (2024-06-07T14:49:00Z)
• Coin3D: Controllable and Interactive 3D Assets Generation with Proxy-Guided Conditioning [52.81032340916171]
  Coin3Dを使えば、ユーザーは基本的な形状から組み立てられた粗い幾何学的プロキシを使って3D生成を制御できる。 本手法は,3次元アセット生成タスクにおいて,制御性と柔軟性に優れる。
  論文  参考訳（メタデータ） (2024-05-13T17:56:13Z)
• Urban Architect: Steerable 3D Urban Scene Generation with Layout Prior [43.14168074750301]
  合成3Dレイアウト表現をテキストから3Dのパラダイムに導入し、さらに先行として機能する。 単純な幾何学的構造と明示的な配置関係を持つ意味的プリミティブの集合から構成される。 また,様々なシーン編集デモを行い,ステアブルな都市景観生成の力を示す。
  論文  参考訳（メタデータ） (2024-04-10T06:41:30Z)
• SceneX:Procedural Controllable Large-scale Scene Generation via Large-language Models [53.961002112433576]
  本稿では,デザイナーのテキスト記述に従って高品質なプロシージャモデルを自動生成する大規模シーン生成フレームワークであるSceneXを紹介する。 私たちのSceneXは、微妙な幾何学的レイアウトと構造を持つ2.5km×2.5kmの都市を生成でき、プロのPCGエンジニアの数週間の時間を大幅に短縮して、普通のユーザにとっては数時間に過ぎません。
  論文  参考訳（メタデータ） (2024-03-23T03:23:29Z)
• GALA3D: Towards Text-to-3D Complex Scene Generation via Layout-guided Generative Gaussian Splatting [52.150502668874495]
  GALA3D, GALA3D, 生成3D GAussian, LAyout-guided control, for effective compositional text-to-3D generation。 GALA3Dは、最先端のシーンレベルの3Dコンテンツ生成と制御可能な編集のための、ユーザフレンドリーでエンドツーエンドのフレームワークである。
  論文  参考訳（メタデータ） (2024-02-11T13:40:08Z)
• CityGen: Infinite and Controllable 3D City Layout Generation [26.1563802843242]
  CityGenは、無限で多様性があり、制御可能な3D都市レイアウト生成のための新しいエンドツーエンドフレームワークである。 CityGenは、FIDおよびKIDの下での最先端のSOTA(State-of-the-art)のパフォーマンスを達成し、無限に制御可能な3D都市レイアウトを生成する。
  論文  参考訳（メタデータ） (2023-12-03T21:16:37Z)
• Octopus: Embodied Vision-Language Programmer from Environmental Feedback [58.04529328728999]
  身体視覚言語モデル(VLM)は多モード認識と推論において大きな進歩を遂げた。 このギャップを埋めるために、我々は、計画と操作を接続する媒体として実行可能なコード生成を使用する、具体化された視覚言語プログラマであるOctopusを紹介した。 Octopusは、1)エージェントの視覚的およびテキスト的タスクの目的を正確に理解し、2)複雑なアクションシーケンスを定式化し、3)実行可能なコードを生成するように設計されている。
  論文  参考訳（メタデータ） (2023-10-12T17:59:58Z)
• CityDreamer: Compositional Generative Model of Unbounded 3D Cities [44.203932215464214]
  CityDreamerは、非有界な3D都市向けに特別に設計された合成モデルである。 我々は、鳥の視線シーン表現を採用し、インスタンス指向と物指向のニューラルフィールドの両方にボリュームレンダリングを採用する。 CityDreamerは、現実的な3D都市を生成するだけでなく、生成された都市内の局所的な編集でも、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2023-09-01T17:57:02Z)
• Pushing the Limits of 3D Shape Generation at Scale [65.24420181727615]
  我々は、前例のない次元に拡大することで、3次元形状生成において画期的なブレークスルーを示す。 現在までに最大の3次元形状生成モデルとしてArgus-3Dが確立されている。
  論文  参考訳（メタデータ） (2023-06-20T13:01:19Z)
• Evaluating Continual Learning Algorithms by Generating 3D Virtual Environments [66.83839051693695]
  連続学習とは、人間や動物が特定の環境で徐々に学習する能力である。 本稿では3次元仮想環境の最近の進歩を活用して,フォトリアリスティックな外観を持つ潜在的に長寿命な動的シーンの自動生成にアプローチすることを提案する。 本論文の新たな要素は、シーンがパラメトリックな方法で記述され、エージェントが知覚する入力ストリームの視覚的複雑さを完全に制御できることである。
  論文  参考訳（メタデータ） (2021-09-16T10:37:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。