論文の概要: UrbanWorld: An Urban World Model for 3D City Generation
- arxiv url: http://arxiv.org/abs/2407.11965v1
- Date: Tue, 16 Jul 2024 17:59:29 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-17 13:34:07.211710
- Title: UrbanWorld: An Urban World Model for 3D City Generation
- Title（参考訳）: UrbanWorld:3Dシティジェネレーションのための都市世界モデル
- Authors: Yu Shang, Jiansheng Chen, Hangyu Fan, Jingtao Ding, Jie Feng, Yong Li,
- Abstract要約: UrbanWorldは、フレキシブルな制御条件を備えたカスタマイズされたリアルでインタラクティブな3D都市世界を自動生成できる、最初の生成的都市世界モデルである。
高忠実な3D都市環境は、シミュレーションにおいて一般的なAIとマシン知覚システムの現実的なフィードバックと相互作用を可能にする。
- 参考スコア（独自算出の注目度）: 15.095017388300947
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Cities, as the most fundamental environment of human life, encompass diverse physical elements such as buildings, roads and vegetation with complex interconnection. Crafting realistic, interactive 3D urban environments plays a crucial role in constructing AI agents capable of perceiving, decision-making, and acting like humans in real-world environments. However, creating high-fidelity 3D urban environments usually entails extensive manual labor from designers, involving intricate detailing and accurate representation of complex urban features. Therefore, how to accomplish this in an automatical way remains a longstanding challenge. Toward this problem, we propose UrbanWorld, the first generative urban world model that can automatically create a customized, realistic and interactive 3D urban world with flexible control conditions. UrbanWorld incorporates four key stages in the automatical crafting pipeline: 3D layout generation from openly accessible OSM data, urban scene planning and designing with a powerful urban multimodal large language model (Urban MLLM), controllable urban asset rendering with advanced 3D diffusion techniques, and finally the MLLM-assisted scene refinement. The crafted high-fidelity 3D urban environments enable realistic feedback and interactions for general AI and machine perceptual systems in simulations. We are working on contributing UrbanWorld as an open-source and versatile platform for evaluating and improving AI abilities in perception, decision-making, and interaction in realistic urban environments.
- Abstract（参考訳）: 都市は、人間の生活の最も基本的な環境として、複雑な相互接続を伴う建物、道路、植生などの様々な物理的要素を包含している。
リアルでインタラクティブな3D都市環境の構築は、現実世界の環境において人間のように知覚し、意思決定し、行動するAIエージェントを構築する上で重要な役割を担います。
しかし、高忠実な3D都市環境を作るには、複雑な都市の特徴の複雑な詳細化と正確な表現を含む、デザイナーによる広範囲な手作業が必要となる。
したがって、これをどうやって自動で達成するかは、長年にわたる課題である。
そこで本研究では,フレキシブルな制御条件でカスタマイズ,現実的,インタラクティブな3D都市世界を自動生成できる,初の都市モデルであるUrbanWorldを提案する。
UrbanWorldは、オープンアクセスOSMデータからの3Dレイアウト生成、強力な都市マルチモーダル大言語モデル(Urban MLLM)による都市景観計画と設計、高度な3D拡散技術による制御可能な都市資産レンダリング、そして最後はMLLMによるシーンリファインメントである。
高忠実な3D都市環境は、シミュレーションにおいて一般的なAIとマシン知覚システムの現実的なフィードバックと相互作用を可能にする。
私たちは、リアルな都市環境における認識、意思決定、相互作用におけるAI能力を評価し改善するための、オープンソースで汎用的なプラットフォームとして、UrbanWorldへのコントリビューションに取り組んでいます。
関連論文リスト
- CityDreamer4D: Compositional Generative Model of Unbounded 4D Cities [44.203932215464214]
本研究では,4次元都市を創出するのに適した構成生成モデルを提案する。
CityDreamer4Dは、インスタンス編集、都市スタイル化、都市シミュレーションなど、さまざまなダウンストリームアプリケーションをサポートしている。
論文 参考訳（メタデータ） (2025-01-15T17:59:56Z) - GenEx: Generating an Explorable World [59.0666303068111]
我々は、その生成的想像力によって導かれる複雑なエンボディ世界探査を計画できるシステムGenExを紹介する。
GenExは、単一のRGB画像から3D一貫性のある想像環境全体を生成します。
GPT支援エージェントは、ゴールに依存しない探索とゴール駆動ナビゲーションの両方を含む複雑な実施作業を行う。
論文 参考訳（メタデータ） (2024-12-12T18:59:57Z) - AerialGo: Walking-through City View Generation from Aerial Perspectives [48.53976414257845]
AerialGoは、空中画像からリアルな街並みを生成するフレームワークである。
AerialGoは、アクセス可能な航空データに地上視合成を条件付けすることで、地上レベルの画像に固有のプライバシーリスクを回避できる。
実験により、AerialGoは地上レベルのリアリズムと構造的コヒーレンスを著しく向上させることが示された。
論文 参考訳（メタデータ） (2024-11-29T08:14:07Z) - CityX: Controllable Procedural Content Generation for Unbounded 3D Cities [50.10101235281943]
現在の生成法は多様性、可制御性または忠実度に乏しい。
本研究では,高忠実度生成のための手続き的コンテンツ生成(PCG)技術を利用する。
我々は,OSM,セマンティックマップ,衛星画像などのマルチモーダル命令を実行可能なプログラムに変換するマルチエージェントフレームワークを開発した。
提案手法はCityXと呼ばれ,多種多様で制御可能でリアルな3D都市景観の創出において,その優位性を実証するものである。
論文 参考訳（メタデータ） (2024-07-24T18:05:13Z) - MetaUrban: An Embodied AI Simulation Platform for Urban Micromobility [52.0930915607703]
最近のロボティクスとエンボディードAIの進歩により、公共の都市空間はもはや人間専用ではない。
公共の都市空間における短距離移動のためのAIによって実現されるマイクロモビリティは、将来の交通システムにおいて重要な要素である。
本稿では,AI駆動型都市マイクロモビリティ研究のための構成シミュレーションプラットフォームであるMetaUrbanを紹介する。
論文 参考訳（メタデータ） (2024-07-11T17:56:49Z) - CityCraft: A Real Crafter for 3D City Generation [25.7885801163556]
CityCraftは、都市シーン生成の多様性と品質の両方を強化するために設計された革新的なフレームワークである。
提案手法は,まず拡散変圧器(DiT)モデルを用いて,多種かつ制御可能な2次元都市レイアウトを生成する。
生成したレイアウトと都市計画に基づいて,Blenderとアセット検索モジュールを用いて,正確なアセット配置とシーン構築を行う。
論文 参考訳（メタデータ） (2024-06-07T14:49:00Z) - Urban Scene Diffusion through Semantic Occupancy Map [49.20779809250597]
UrbanDiffusionは、Bird's-Eye View (BEV)マップに条件付き3次元拡散モデルである。
我々のモデルは,潜在空間内のシーンレベルの構造の分布を学習する。
実世界の運転データセットをトレーニングした後、我々のモデルは多様な都市シーンを生成することができる。
論文 参考訳（メタデータ） (2024-03-18T11:54:35Z) - Urban Generative Intelligence (UGI): A Foundational Platform for Agents
in Embodied City Environment [32.53845672285722]
複雑な多層ネットワークを特徴とする都市環境は、急速な都市化に直面している重要な課題に直面している。
近年、ビッグデータ、人工知能、都市コンピューティング、デジタル双生児が発展し、洗練された都市モデリングとシミュレーションの基礎を築いた。
本稿では,大規模言語モデル(LLM)を都市システムに統合した新しい基盤プラットフォームである都市生成知能(UGI)を提案する。
論文 参考訳（メタデータ） (2023-12-19T03:12:13Z) - CityDreamer: Compositional Generative Model of Unbounded 3D Cities [44.203932215464214]
CityDreamerは、非有界な3D都市向けに特別に設計された合成モデルである。
我々は、鳥の視線シーン表現を採用し、インスタンス指向と物指向のニューラルフィールドの両方にボリュームレンダリングを採用する。
CityDreamerは、現実的な3D都市を生成するだけでなく、生成された都市内の局所的な編集でも、最先端のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2023-09-01T17:57:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。