論文の概要: CityCraft: A Real Crafter for 3D City Generation
- arxiv url: http://arxiv.org/abs/2406.04983v1
- Date: Fri, 7 Jun 2024 14:49:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-10 13:41:57.375015
- Title: CityCraft: A Real Crafter for 3D City Generation
- Title（参考訳）: CityCraft:3Dシティジェネレーションのリアルクラフト
- Authors: Jie Deng, Wenhao Chai, Junsheng Huang, Zhonghan Zhao, Qixuan Huang, Mingyan Gao, Jianshu Guo, Shengyu Hao, Wenhao Hu, Jenq-Neng Hwang, Xi Li, Gaoang Wang,
- Abstract要約: CityCraftは、都市シーン生成の多様性と品質の両方を強化するために設計された革新的なフレームワークである。
提案手法は,まず拡散変圧器(DiT)モデルを用いて,多種かつ制御可能な2次元都市レイアウトを生成する。
生成したレイアウトと都市計画に基づいて,Blenderとアセット検索モジュールを用いて,正確なアセット配置とシーン構築を行う。
- 参考スコア（独自算出の注目度）: 25.7885801163556
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: City scene generation has gained significant attention in autonomous driving, smart city development, and traffic simulation. It helps enhance infrastructure planning and monitoring solutions. Existing methods have employed a two-stage process involving city layout generation, typically using Variational Autoencoders (VAEs), Generative Adversarial Networks (GANs), or Transformers, followed by neural rendering. These techniques often exhibit limited diversity and noticeable artifacts in the rendered city scenes. The rendered scenes lack variety, resembling the training images, resulting in monotonous styles. Additionally, these methods lack planning capabilities, leading to less realistic generated scenes. In this paper, we introduce CityCraft, an innovative framework designed to enhance both the diversity and quality of urban scene generation. Our approach integrates three key stages: initially, a diffusion transformer (DiT) model is deployed to generate diverse and controllable 2D city layouts. Subsequently, a Large Language Model(LLM) is utilized to strategically make land-use plans within these layouts based on user prompts and language guidelines. Based on the generated layout and city plan, we utilize the asset retrieval module and Blender for precise asset placement and scene construction. Furthermore, we contribute two new datasets to the field: 1)CityCraft-OSM dataset including 2D semantic layouts of urban areas, corresponding satellite images, and detailed annotations. 2) CityCraft-Buildings dataset, featuring thousands of diverse, high-quality 3D building assets. CityCraft achieves state-of-the-art performance in generating realistic 3D cities.
- Abstract（参考訳）: 都市景観生成は、自動運転、スマートシティ開発、交通シミュレーションにおいて大きな注目を集めている。
インフラ計画と監視ソリューションの強化に役立ちます。
既存の手法では、通常、変分オートエンコーダ(VAE)、GAN(Generative Adversarial Networks)、トランスフォーマー(Transformers)を使用して、都市レイアウトの生成を含む2段階のプロセスを採用している。
これらの技法は、しばしば、レンダリングされた都市のシーンで、限られた多様性と顕著なアーティファクトを示す。
レンダリングされたシーンは、訓練用のイメージに似ており、単調なスタイルになっている。
さらに、これらの方法は計画能力に欠けており、現実的な生成シーンは少なくなります。
本稿では,都市景観の多様性と質を両立させる革新的な枠組みであるCityCraftを紹介する。
提案手法は,まず拡散変圧器(DiT)モデルを配置し,多種かつ制御可能な2次元都市レイアウトを生成する。
その後、Large Language Model(LLM)を用いて、ユーザプロンプトと言語ガイドラインに基づいて、これらのレイアウト内でランドユースプランを戦略的に作成する。
生成したレイアウトと都市計画に基づいて,Blenderとアセット検索モジュールを用いて,正確なアセット配置とシーン構築を行う。
1)都市部の2次元意味的レイアウトを含むCityCraft-OSMデータセット、対応する衛星画像、詳細なアノテーション。
2) CityCraft-Buildingsデータセットは、何千もの多様な高品質な3Dビルディングアセットを備えている。
CityCraftは、リアルな3D都市を作る上で、最先端のパフォーマンスを実現している。
関連論文リスト
- CityDreamer4D: Compositional Generative Model of Unbounded 4D Cities [44.203932215464214]
本研究では,4次元都市を創出するのに適した構成生成モデルを提案する。
CityDreamer4Dは、インスタンス編集、都市スタイル化、都市シミュレーションなど、さまざまなダウンストリームアプリケーションをサポートしている。
論文 参考訳（メタデータ） (2025-01-15T17:59:56Z) - Proc-GS: Procedural Building Generation for City Assembly with 3D Gaussians [65.09942210464747]
資産の創出は労働集約的であり、設計ルールを開発するには専門的なスキルが必要である。
作成のための最近の生成モデルは、しばしばこれらのパターンを見落とし、視覚的忠実度が低く、スケーラビリティが制限される。
手続き的なコードを操作することで、このプロセスを合理化し、無限に多様な建物を生成することができます。
論文 参考訳（メタデータ） (2024-12-10T16:45:32Z) - CityX: Controllable Procedural Content Generation for Unbounded 3D Cities [50.10101235281943]
現在の生成法は多様性、可制御性または忠実度に乏しい。
本研究では,高忠実度生成のための手続き的コンテンツ生成(PCG)技術を利用する。
我々は,OSM,セマンティックマップ,衛星画像などのマルチモーダル命令を実行可能なプログラムに変換するマルチエージェントフレームワークを開発した。
提案手法はCityXと呼ばれ,多種多様で制御可能でリアルな3D都市景観の創出において,その優位性を実証するものである。
論文 参考訳（メタデータ） (2024-07-24T18:05:13Z) - Urban Architect: Steerable 3D Urban Scene Generation with Layout Prior [43.14168074750301]
合成3Dレイアウト表現をテキストから3Dのパラダイムに導入し、さらに先行として機能する。
単純な幾何学的構造と明示的な配置関係を持つ意味的プリミティブの集合から構成される。
また,様々なシーン編集デモを行い,ステアブルな都市景観生成の力を示す。
論文 参考訳（メタデータ） (2024-04-10T06:41:30Z) - Urban Scene Diffusion through Semantic Occupancy Map [49.20779809250597]
UrbanDiffusionは、Bird's-Eye View (BEV)マップに条件付き3次元拡散モデルである。
我々のモデルは,潜在空間内のシーンレベルの構造の分布を学習する。
実世界の運転データセットをトレーニングした後、我々のモデルは多様な都市シーンを生成することができる。
論文 参考訳（メタデータ） (2024-03-18T11:54:35Z) - Sat2Scene: 3D Urban Scene Generation from Satellite Images with Diffusion [77.34078223594686]
本稿では,3次元スパース表現に拡散モデルを導入し,それらをニューラルレンダリング技術と組み合わせることで,直接3次元シーン生成のための新しいアーキテクチャを提案する。
具体的には、まず3次元拡散モデルを用いて、所定の幾何学の点レベルのテクスチャ色を生成し、次にフィードフォワード方式でシーン表現に変換する。
2つの都市規模データセットを用いた実験により,衛星画像から写真リアルなストリートビュー画像シーケンスとクロスビュー都市シーンを生成する能力を示した。
論文 参考訳（メタデータ） (2024-01-19T16:15:37Z) - CityGen: Infinite and Controllable 3D City Layout Generation [26.1563802843242]
CityGenは、無限で多様性があり、制御可能な3D都市レイアウト生成のための新しいエンドツーエンドフレームワークである。
CityGenは、FIDおよびKIDの下での最先端のSOTA(State-of-the-art)のパフォーマンスを達成し、無限に制御可能な3D都市レイアウトを生成する。
論文 参考訳（メタデータ） (2023-12-03T21:16:37Z) - CityDreamer: Compositional Generative Model of Unbounded 3D Cities [44.203932215464214]
CityDreamerは、非有界な3D都市向けに特別に設計された合成モデルである。
我々は、鳥の視線シーン表現を採用し、インスタンス指向と物指向のニューラルフィールドの両方にボリュームレンダリングを採用する。
CityDreamerは、現実的な3D都市を生成するだけでなく、生成された都市内の局所的な編集でも、最先端のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2023-09-01T17:57:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。