論文の概要: UrbanWorld: An Urban World Model for 3D City Generation
- arxiv url: http://arxiv.org/abs/2407.11965v1
- Date: Tue, 16 Jul 2024 17:59:29 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-17 13:34:07.211710
- Title: UrbanWorld: An Urban World Model for 3D City Generation
- Title（参考訳）: UrbanWorld:3Dシティジェネレーションのための都市世界モデル
- Authors: Yu Shang, Jiansheng Chen, Hangyu Fan, Jingtao Ding, Jie Feng, Yong Li,
- Abstract要約: UrbanWorldは、フレキシブルな制御条件を備えたカスタマイズされたリアルでインタラクティブな3D都市世界を自動生成できる、最初の生成的都市世界モデルである。
高忠実な3D都市環境は、シミュレーションにおいて一般的なAIとマシン知覚システムの現実的なフィードバックと相互作用を可能にする。
- 参考スコア（独自算出の注目度）: 15.095017388300947
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Cities, as the most fundamental environment of human life, encompass diverse physical elements such as buildings, roads and vegetation with complex interconnection. Crafting realistic, interactive 3D urban environments plays a crucial role in constructing AI agents capable of perceiving, decision-making, and acting like humans in real-world environments. However, creating high-fidelity 3D urban environments usually entails extensive manual labor from designers, involving intricate detailing and accurate representation of complex urban features. Therefore, how to accomplish this in an automatical way remains a longstanding challenge. Toward this problem, we propose UrbanWorld, the first generative urban world model that can automatically create a customized, realistic and interactive 3D urban world with flexible control conditions. UrbanWorld incorporates four key stages in the automatical crafting pipeline: 3D layout generation from openly accessible OSM data, urban scene planning and designing with a powerful urban multimodal large language model (Urban MLLM), controllable urban asset rendering with advanced 3D diffusion techniques, and finally the MLLM-assisted scene refinement. The crafted high-fidelity 3D urban environments enable realistic feedback and interactions for general AI and machine perceptual systems in simulations. We are working on contributing UrbanWorld as an open-source and versatile platform for evaluating and improving AI abilities in perception, decision-making, and interaction in realistic urban environments.
- Abstract（参考訳）: 都市は、人間の生活の最も基本的な環境として、複雑な相互接続を伴う建物、道路、植生などの様々な物理的要素を包含している。
リアルでインタラクティブな3D都市環境の構築は、現実世界の環境において人間のように知覚し、意思決定し、行動するAIエージェントを構築する上で重要な役割を担います。
しかし、高忠実な3D都市環境を作るには、複雑な都市の特徴の複雑な詳細化と正確な表現を含む、デザイナーによる広範囲な手作業が必要となる。
したがって、これをどうやって自動で達成するかは、長年にわたる課題である。
そこで本研究では,フレキシブルな制御条件でカスタマイズ,現実的,インタラクティブな3D都市世界を自動生成できる,初の都市モデルであるUrbanWorldを提案する。
UrbanWorldは、オープンアクセスOSMデータからの3Dレイアウト生成、強力な都市マルチモーダル大言語モデル(Urban MLLM)による都市景観計画と設計、高度な3D拡散技術による制御可能な都市資産レンダリング、そして最後はMLLMによるシーンリファインメントである。
高忠実な3D都市環境は、シミュレーションにおいて一般的なAIとマシン知覚システムの現実的なフィードバックと相互作用を可能にする。
私たちは、リアルな都市環境における認識、意思決定、相互作用におけるAI能力を評価し改善するための、オープンソースで汎用的なプラットフォームとして、UrbanWorldへのコントリビューションに取り組んでいます。
関連論文リスト
- CityX: Controllable Procedural Content Generation for Unbounded 3D Cities [55.737060358043536]
そこで我々は,CityXという新しいマルチモーダル制御可能な手続き型コンテンツ生成手法を提案する。
OSM、セマンティックマップ、衛星画像など、複数のレイアウト条件でガイドされるリアルで無拘束の3D都市生成を強化する。
この効果的なフレームワークを通じて、CityXは3Dシーン生成のための革新的なエコシステムを構築する可能性を示している。
論文 参考訳（メタデータ） (2024-07-24T18:05:13Z) - 3D Question Answering for City Scene Understanding [12.433903847890322]
3Dマルチモーダル質問応答(MQA)は,知的エージェントが周囲を3D環境下で理解できるようにすることによって,シーン理解において重要な役割を担っている。
都市レベルのシーン理解のための3D MQAデータセットCity-3DQAを提案する。
新しいベンチマークを報告し,提案したSg-CityUはCity-3DQAの異なる設定で63.94 %と63.76 %の精度を達成する。
論文 参考訳（メタデータ） (2024-07-24T16:22:27Z) - MetaUrban: An Embodied AI Simulation Platform for Urban Micromobility [52.0930915607703]
最近のロボティクスとエンボディードAIの進歩により、公共の都市空間はもはや人間専用ではない。
公共の都市空間における短距離移動のためのAIによって実現されるマイクロモビリティは、将来の交通システムにおいて重要な要素である。
本稿では,AI駆動型都市マイクロモビリティ研究のための構成シミュレーションプラットフォームであるMetaUrbanを紹介する。
論文 参考訳（メタデータ） (2024-07-11T17:56:49Z) - CityCraft: A Real Crafter for 3D City Generation [25.7885801163556]
CityCraftは、都市シーン生成の多様性と品質の両方を強化するために設計された革新的なフレームワークである。
提案手法は,まず拡散変圧器(DiT)モデルを用いて,多種かつ制御可能な2次元都市レイアウトを生成する。
生成したレイアウトと都市計画に基づいて,Blenderとアセット検索モジュールを用いて,正確なアセット配置とシーン構築を行う。
論文 参考訳（メタデータ） (2024-06-07T14:49:00Z) - Urban Scene Diffusion through Semantic Occupancy Map [49.20779809250597]
UrbanDiffusionは、Bird's-Eye View (BEV)マップに条件付き3次元拡散モデルである。
我々のモデルは,潜在空間内のシーンレベルの構造の分布を学習する。
実世界の運転データセットをトレーニングした後、我々のモデルは多様な都市シーンを生成することができる。
論文 参考訳（メタデータ） (2024-03-18T11:54:35Z) - Urban Generative Intelligence (UGI): A Foundational Platform for Agents
in Embodied City Environment [32.53845672285722]
複雑な多層ネットワークを特徴とする都市環境は、急速な都市化に直面している重要な課題に直面している。
近年、ビッグデータ、人工知能、都市コンピューティング、デジタル双生児が発展し、洗練された都市モデリングとシミュレーションの基礎を築いた。
本稿では,大規模言語モデル(LLM)を都市システムに統合した新しい基盤プラットフォームである都市生成知能(UGI)を提案する。
論文 参考訳（メタデータ） (2023-12-19T03:12:13Z) - CityDreamer: Compositional Generative Model of Unbounded 3D Cities [44.203932215464214]
CityDreamerは、非有界な3D都市向けに特別に設計された合成モデルである。
我々は、鳥の視線シーン表現を採用し、インスタンス指向と物指向のニューラルフィールドの両方にボリュームレンダリングを採用する。
CityDreamerは、現実的な3D都市を生成するだけでなく、生成された都市内の局所的な編集でも、最先端のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2023-09-01T17:57:02Z) - CIRCLE: Capture In Rich Contextual Environments [69.97976304918149]
そこで我々は,アクターが仮想世界において知覚し,操作する新たな動き獲得システムを提案する。
9つのシーンにわたる5人の被験者から10時間のフルボディ到達動作を含むデータセットであるCIRCLEを提示する。
このデータセットを用いて、シーン情報に基づいて人間の動きを生成するモデルを訓練する。
論文 参考訳（メタデータ） (2023-03-31T09:18:12Z) - Future Urban Scenes Generation Through Vehicles Synthesis [90.1731992199415]
本研究では,都市景観の視覚的外観を予測するためのディープラーニングパイプラインを提案する。
ループには解釈可能な情報が含まれ、各アクターは独立してモデル化される。
従来のCityFlowのシーン生成手法に比べて,このアプローチが優れていることを示す。
論文 参考訳（メタデータ） (2020-07-01T08:40:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。