Fugu-MT 論文翻訳(概要): UrbanWorld: An Urban World Model for 3D City Generation

論文の概要: UrbanWorld: An Urban World Model for 3D City Generation

arxiv url: http://arxiv.org/abs/2407.11965v2
Date: Tue, 22 Oct 2024 08:31:44 GMT
ステータス: 処理完了
システム内更新日: 2024-11-08 20:59:00.502617
Title: UrbanWorld: An Urban World Model for 3D City Generation
Title（参考訳）: UrbanWorld:3Dシティジェネレーションのための都市世界モデル
Authors: Yu Shang, Yuming Lin, Yu Zheng, Hangyu Fan, Jingtao Ding, Jie Feng, Jiansheng Chen, Li Tian, Yong Li,
Abstract要約: UrbanWorldは、フレキシブルな制御条件を備えたカスタマイズされたリアルでインタラクティブな3D都市世界を自動生成できる、ジェネレーティブな都市世界モデルである。我々は5つの視覚的指標について広範囲に定量的に分析を行い、UrbanWorldがSOTA生成リアリズムを実現していることを示す。エージェントの認識とナビゲーションを生成環境内で示すことで,これらの環境のインタラクティブな性質を検証する。
参考スコア（独自算出の注目度）: 21.21375372182025
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Cities, as the essential environment of human life, encompass diverse physical elements such as buildings, roads and vegetation, which continuously interact with dynamic entities like people and vehicles. Crafting realistic, interactive 3D urban environments is essential for nurturing AGI systems and constructing AI agents capable of perceiving, decision-making, and acting like humans in real-world environments. However, creating high-fidelity 3D urban environments usually entails extensive manual labor from designers, involving intricate detailing and representation of complex urban elements. Therefore, accomplishing this automatically remains a longstanding challenge. Toward this problem, we propose UrbanWorld, the first generative urban world model that can automatically create a customized, realistic and interactive 3D urban world with flexible control conditions. UrbanWorld incorporates four key stages in the generation pipeline: flexible 3D layout generation from OSM data or urban layout with semantic and height maps, urban scene design with Urban MLLM, controllable urban asset rendering via progressive 3D diffusion, and MLLM-assisted scene refinement. We conduct extensive quantitative analysis on five visual metrics, demonstrating that UrbanWorld achieves SOTA generation realism. Next, we provide qualitative results about the controllable generation capabilities of UrbanWorld using both textual and image-based prompts. Lastly, we verify the interactive nature of these environments by showcasing the agent perception and navigation within the created environments. We contribute UrbanWorld as an open-source tool available at https://github.com/Urban-World/UrbanWorld.
Abstract（参考訳）: 都市は、人間の生活の本質的な環境として、建物、道路、植生などの様々な物理的要素を包含し、人や車のような動的実体と継続的に相互作用する。リアルでインタラクティブな3D都市環境の構築は、AGIシステムの育成と、現実世界の環境における人間のように知覚し、意思決定し、行動するAIエージェントの構築に不可欠である。しかし、高忠実な3D都市環境を作るには、複雑な都市要素の複雑な詳細化と表現を含む、デザイナーによる広範囲な手作業が必要となる。そのため、これを自動的に達成することは長年にわたる課題である。そこで本研究では,フレキシブルな制御条件でカスタマイズ,現実的,インタラクティブな3D都市世界を自動生成できる,初の都市モデルであるUrbanWorldを提案する。 UrbanWorldは、OSMデータからフレキシブルな3Dレイアウト生成、セマンティックおよび高さマップによる都市レイアウト生成、アーバンMLLMによる都市シーンデザイン、プログレッシブ3D拡散による都市アセットレンダリング、MLLMによるシーンリファインメントの4つの重要なステージを組み込んでいる。我々は5つの視覚的指標について広範囲に定量的に分析を行い、UrbanWorldがSOTA生成リアリズムを実現していることを示す。次に、テキストと画像に基づくプロンプトを用いて、UrbanWorldの制御可能な生成能力に関する定性的な結果を提供する。最後に、エージェントの認識とナビゲーションを生成環境内で示すことで、これらの環境のインタラクティブな性質を検証する。 UrbanWorldはhttps://github.com/Urban-World/UrbanWorldで利用可能なオープンソースツールです。

関連論文リスト

CityX: Controllable Procedural Content Generation for Unbounded 3D Cities [55.737060358043536]
そこで我々は,CityXという新しいマルチモーダル制御可能な手続き型コンテンツ生成手法を提案する。 OSM、セマンティックマップ、衛星画像など、複数のレイアウト条件でガイドされるリアルで無拘束の3D都市生成を強化する。この効果的なフレームワークを通じて、CityXは3Dシーン生成のための革新的なエコシステムを構築する可能性を示している。
論文参考訳（メタデータ） (2024-07-24T18:05:13Z)
3D Question Answering for City Scene Understanding [12.433903847890322]
3Dマルチモーダル質問応答(MQA)は,知的エージェントが周囲を3D環境下で理解できるようにすることによって,シーン理解において重要な役割を担っている。都市レベルのシーン理解のための3D MQAデータセットCity-3DQAを提案する。新しいベンチマークを報告し,提案したSg-CityUはCity-3DQAの異なる設定で63.94 %と63.76 %の精度を達成する。
論文参考訳（メタデータ） (2024-07-24T16:22:27Z)
MetaUrban: An Embodied AI Simulation Platform for Urban Micromobility [52.0930915607703]
最近のロボティクスとエンボディードAIの進歩により、公共の都市空間はもはや人間専用ではない。公共の都市空間における短距離移動のためのAIによって実現されるマイクロモビリティは、将来の交通システムにおいて重要な要素である。本稿では,AI駆動型都市マイクロモビリティ研究のための構成シミュレーションプラットフォームであるMetaUrbanを紹介する。
論文参考訳（メタデータ） (2024-07-11T17:56:49Z)
CityCraft: A Real Crafter for 3D City Generation [25.7885801163556]
CityCraftは、都市シーン生成の多様性と品質の両方を強化するために設計された革新的なフレームワークである。提案手法は,まず拡散変圧器(DiT)モデルを用いて,多種かつ制御可能な2次元都市レイアウトを生成する。生成したレイアウトと都市計画に基づいて,Blenderとアセット検索モジュールを用いて,正確なアセット配置とシーン構築を行う。
論文参考訳（メタデータ） (2024-06-07T14:49:00Z)
Urban Scene Diffusion through Semantic Occupancy Map [49.20779809250597]
UrbanDiffusionは、Bird's-Eye View (BEV)マップに条件付き3次元拡散モデルである。我々のモデルは,潜在空間内のシーンレベルの構造の分布を学習する。実世界の運転データセットをトレーニングした後、我々のモデルは多様な都市シーンを生成することができる。
論文参考訳（メタデータ） (2024-03-18T11:54:35Z)
Urban Generative Intelligence (UGI): A Foundational Platform for Agents in Embodied City Environment [32.53845672285722]
複雑な多層ネットワークを特徴とする都市環境は、急速な都市化に直面している重要な課題に直面している。近年、ビッグデータ、人工知能、都市コンピューティング、デジタル双生児が発展し、洗練された都市モデリングとシミュレーションの基礎を築いた。本稿では,大規模言語モデル(LLM)を都市システムに統合した新しい基盤プラットフォームである都市生成知能(UGI)を提案する。
論文参考訳（メタデータ） (2023-12-19T03:12:13Z)
CityDreamer: Compositional Generative Model of Unbounded 3D Cities [44.203932215464214]
CityDreamerは、非有界な3D都市向けに特別に設計された合成モデルである。我々は、鳥の視線シーン表現を採用し、インスタンス指向と物指向のニューラルフィールドの両方にボリュームレンダリングを採用する。 CityDreamerは、現実的な3D都市を生成するだけでなく、生成された都市内の局所的な編集でも、最先端のパフォーマンスを実現している。
論文参考訳（メタデータ） (2023-09-01T17:57:02Z)
CIRCLE: Capture In Rich Contextual Environments [69.97976304918149]
そこで我々は,アクターが仮想世界において知覚し,操作する新たな動き獲得システムを提案する。 9つのシーンにわたる5人の被験者から10時間のフルボディ到達動作を含むデータセットであるCIRCLEを提示する。このデータセットを用いて、シーン情報に基づいて人間の動きを生成するモデルを訓練する。
論文参考訳（メタデータ） (2023-03-31T09:18:12Z)
Future Urban Scenes Generation Through Vehicles Synthesis [90.1731992199415]
本研究では,都市景観の視覚的外観を予測するためのディープラーニングパイプラインを提案する。ループには解釈可能な情報が含まれ、各アクターは独立してモデル化される。従来のCityFlowのシーン生成手法に比べて,このアプローチが優れていることを示す。
論文参考訳（メタデータ） (2020-07-01T08:40:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。