論文の概要: CityX: Controllable Procedural Content Generation for Unbounded 3D Cities

• arxiv url: http://arxiv.org/abs/2407.17572v4
• Date: Mon, 09 Dec 2024 09:30:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:50:53.268120
• Title: CityX: Controllable Procedural Content Generation for Unbounded 3D Cities
• Title（参考訳）: CityX: 無制限3D都市のための制御可能な手続き型コンテンツ生成
• Authors: Shougao Zhang, Mengqi Zhou, Yuxi Wang, Chuanchen Luo, Rongyu Wang, Yiwei Li, Zhaoxiang Zhang, Junran Peng,
• Abstract要約: 現在の生成法は多様性、可制御性または忠実度に乏しい。 本研究では,高忠実度生成のための手続き的コンテンツ生成(PCG)技術を利用する。 我々は,OSM,セマンティックマップ,衛星画像などのマルチモーダル命令を実行可能なプログラムに変換するマルチエージェントフレームワークを開発した。 提案手法はCityXと呼ばれ,多種多様で制御可能でリアルな3D都市景観の創出において,その優位性を実証するものである。
• 参考スコア（独自算出の注目度）: 50.10101235281943
• License:
• Abstract: Urban areas, as the primary human habitat in modern civilization, accommodate a broad spectrum of social activities. With the surge of embodied intelligence, recent years have witnessed an increasing presence of physical agents in urban areas, such as autonomous vehicles and delivery robots. As a result, practitioners significantly value crafting authentic, simulation-ready 3D cities to facilitate the training and verification of such agents. However, this task is quite challenging. Current generative methods fall short in either diversity, controllability, or fidelity. In this work, we resort to the procedural content generation (PCG) technique for high-fidelity generation. It assembles superior assets according to empirical rules, ultimately leading to industrial-grade outcomes. To ensure diverse and self contained creation, we design a management protocol to accommodate extensive PCG plugins with distinct functions and interfaces. Based on this unified PCG library, we develop a multi-agent framework to transform multi-modal instructions, including OSM, semantic maps, and satellite images, into executable programs. The programs coordinate relevant plugins to construct the 3D city consistent with the control condition. A visual feedback scheme is introduced to further refine the initial outcomes. Our method, named CityX, demonstrates its superiority in creating diverse, controllable, and realistic 3D urban scenes. The synthetic scenes can be seamlessly deployed as a real-time simulator and an infinite data generator for embodied intelligence research. Our project page: https://cityx-lab.github.io.
• Abstract（参考訳）: 現代文明における主要な人間の居住地である都市部は、幅広い社会活動に対応している。 エンボディード・インテリジェンス(英語版)の急増に伴い、近年は自動運転車や配達ロボットといった都市部で物理エージェントの存在が増えているのを目撃している。 その結果、実践者は、これらのエージェントの訓練と検証を容易にするために、真正でシミュレーション可能な3D都市を作ることを著しく評価した。 しかし、この課題は非常に難しい。 現在の生成法は多様性、可制御性または忠実度に乏しい。 本研究では,高忠実度生成のための手続き的コンテンツ生成(PCG)技術を利用する。 経験則に従って優れた資産を組み立て、最終的に工業グレードの成果をもたらす。 そこで我々は,多様かつ自己包摂的な作成を保証するため,異なる機能やインターフェースを持つPCGプラグインに対応するための管理プロトコルを設計する。 この統合PCGライブラリをベースとして,OSM,セマンティックマップ,衛星画像などのマルチモーダル命令を実行可能なプログラムに変換するマルチエージェントフレームワークを開発した。 プログラムは、関連するプラグインをコーディネートして、制御条件と整合した3D都市を構築する。 視覚的フィードバックスキームを導入し、初期結果をさらに洗練する。 提案手法はCityXと呼ばれ,多種多様で制御可能でリアルな3D都市景観の創出において,その優位性を実証するものである。 合成シーンは、リアルタイムシミュレータと無限のデータジェネレータとしてシームレスに展開し、インテリジェンス研究を実施できる。 プロジェクトページはhttps://cityx-lab.github.ioです。

関連論文リスト

• GenEx: Generating an Explorable World [59.0666303068111]
  我々は、その生成的想像力によって導かれる複雑なエンボディ世界探査を計画できるシステムGenExを紹介する。 GenExは、単一のRGB画像から3D一貫性のある想像環境全体を生成します。 GPT支援エージェントは、ゴールに依存しない探索とゴール駆動ナビゲーションの両方を含む複雑な実施作業を行う。
  論文  参考訳（メタデータ） (2024-12-12T18:59:57Z)
• Proc-GS: Procedural Building Generation for City Assembly with 3D Gaussians [65.09942210464747]
  資産の創出は労働集約的であり、設計ルールを開発するには専門的なスキルが必要である。 作成のための最近の生成モデルは、しばしばこれらのパターンを見落とし、視覚的忠実度が低く、スケーラビリティが制限される。 手続き的なコードを操作することで、このプロセスを合理化し、無限に多様な建物を生成することができます。
  論文  参考訳（メタデータ） (2024-12-10T16:45:32Z)
• LogiCity: Advancing Neuro-Symbolic AI with Abstract Urban Simulation [60.920536939067524]
  我々は,複数の動的エージェントを持つ都市型環境を対象とした,カスタマイズ可能な一階述語論理(FOL)に基づく最初のシミュレータであるLogiCityを紹介する。 LogiCityは、IsAmbulance(X)やIsClose(X, Y)のような意味的および空間的概念を用いた多様な都市要素をモデル化する LogiCityの重要な機能は、ユーザ設定可能な抽象化のサポートであり、論理的推論のためにカスタマイズ可能なシミュレーションの複雑さを可能にする。
  論文  参考訳（メタデータ） (2024-11-01T17:59:46Z)
• 3D Question Answering for City Scene Understanding [12.433903847890322]
  3Dマルチモーダル質問応答(MQA)は,知的エージェントが周囲を3D環境下で理解できるようにすることによって,シーン理解において重要な役割を担っている。 都市レベルのシーン理解のための3D MQAデータセットCity-3DQAを提案する。 新しいベンチマークを報告し,提案したSg-CityUはCity-3DQAの異なる設定で63.94 %と63.76 %の精度を達成する。
  論文  参考訳（メタデータ） (2024-07-24T16:22:27Z)
• UrbanWorld: An Urban World Model for 3D City Generation [21.21375372182025]
  UrbanWorldは、フレキシブルな制御条件を備えたカスタマイズされたリアルでインタラクティブな3D都市世界を自動生成できる、ジェネレーティブな都市世界モデルである。 我々は5つの視覚的指標について広範囲に定量的に分析を行い、UrbanWorldがSOTA生成リアリズムを実現していることを示す。 エージェントの認識とナビゲーションを生成環境内で示すことで,これらの環境のインタラクティブな性質を検証する。
  論文  参考訳（メタデータ） (2024-07-16T17:59:29Z)
• CityCraft: A Real Crafter for 3D City Generation [25.7885801163556]
  CityCraftは、都市シーン生成の多様性と品質の両方を強化するために設計された革新的なフレームワークである。 提案手法は,まず拡散変圧器(DiT)モデルを用いて,多種かつ制御可能な2次元都市レイアウトを生成する。 生成したレイアウトと都市計画に基づいて,Blenderとアセット検索モジュールを用いて,正確なアセット配置とシーン構築を行う。
  論文  参考訳（メタデータ） (2024-06-07T14:49:00Z)
• CityGen: Infinite and Controllable 3D City Layout Generation [26.1563802843242]
  CityGenは、無限で多様性があり、制御可能な3D都市レイアウト生成のための新しいエンドツーエンドフレームワークである。 CityGenは、FIDおよびKIDの下での最先端のSOTA(State-of-the-art)のパフォーマンスを達成し、無限に制御可能な3D都市レイアウトを生成する。
  論文  参考訳（メタデータ） (2023-12-03T21:16:37Z)
• Octopus: Embodied Vision-Language Programmer from Environmental Feedback [58.04529328728999]
  身体視覚言語モデル(VLM)は多モード認識と推論において大きな進歩を遂げた。 このギャップを埋めるために、我々は、計画と操作を接続する媒体として実行可能なコード生成を使用する、具体化された視覚言語プログラマであるOctopusを紹介した。 Octopusは、1)エージェントの視覚的およびテキスト的タスクの目的を正確に理解し、2)複雑なアクションシーケンスを定式化し、3)実行可能なコードを生成するように設計されている。
  論文  参考訳（メタデータ） (2023-10-12T17:59:58Z)
• Evaluating Continual Learning Algorithms by Generating 3D Virtual Environments [66.83839051693695]
  連続学習とは、人間や動物が特定の環境で徐々に学習する能力である。 本稿では3次元仮想環境の最近の進歩を活用して,フォトリアリスティックな外観を持つ潜在的に長寿命な動的シーンの自動生成にアプローチすることを提案する。 本論文の新たな要素は、シーンがパラメトリックな方法で記述され、エージェントが知覚する入力ストリームの視覚的複雑さを完全に制御できることである。
  論文  参考訳（メタデータ） (2021-09-16T10:37:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。