論文の概要: CityCraft: A Real Crafter for 3D City Generation

• arxiv url: http://arxiv.org/abs/2406.04983v1
• Date: Fri, 7 Jun 2024 14:49:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-10 13:41:57.375015
• Title: CityCraft: A Real Crafter for 3D City Generation
• Title（参考訳）: CityCraft:3Dシティジェネレーションのリアルクラフト
• Authors: Jie Deng, Wenhao Chai, Junsheng Huang, Zhonghan Zhao, Qixuan Huang, Mingyan Gao, Jianshu Guo, Shengyu Hao, Wenhao Hu, Jenq-Neng Hwang, Xi Li, Gaoang Wang,
• Abstract要約: CityCraftは、都市シーン生成の多様性と品質の両方を強化するために設計された革新的なフレームワークである。 提案手法は,まず拡散変圧器(DiT)モデルを用いて,多種かつ制御可能な2次元都市レイアウトを生成する。 生成したレイアウトと都市計画に基づいて,Blenderとアセット検索モジュールを用いて,正確なアセット配置とシーン構築を行う。
• 参考スコア（独自算出の注目度）: 25.7885801163556
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: City scene generation has gained significant attention in autonomous driving, smart city development, and traffic simulation. It helps enhance infrastructure planning and monitoring solutions. Existing methods have employed a two-stage process involving city layout generation, typically using Variational Autoencoders (VAEs), Generative Adversarial Networks (GANs), or Transformers, followed by neural rendering. These techniques often exhibit limited diversity and noticeable artifacts in the rendered city scenes. The rendered scenes lack variety, resembling the training images, resulting in monotonous styles. Additionally, these methods lack planning capabilities, leading to less realistic generated scenes. In this paper, we introduce CityCraft, an innovative framework designed to enhance both the diversity and quality of urban scene generation. Our approach integrates three key stages: initially, a diffusion transformer (DiT) model is deployed to generate diverse and controllable 2D city layouts. Subsequently, a Large Language Model(LLM) is utilized to strategically make land-use plans within these layouts based on user prompts and language guidelines. Based on the generated layout and city plan, we utilize the asset retrieval module and Blender for precise asset placement and scene construction. Furthermore, we contribute two new datasets to the field: 1)CityCraft-OSM dataset including 2D semantic layouts of urban areas, corresponding satellite images, and detailed annotations. 2) CityCraft-Buildings dataset, featuring thousands of diverse, high-quality 3D building assets. CityCraft achieves state-of-the-art performance in generating realistic 3D cities.
• Abstract（参考訳）: 都市景観生成は、自動運転、スマートシティ開発、交通シミュレーションにおいて大きな注目を集めている。 インフラ計画と監視ソリューションの強化に役立ちます。 既存の手法では、通常、変分オートエンコーダ(VAE)、GAN(Generative Adversarial Networks)、トランスフォーマー(Transformers)を使用して、都市レイアウトの生成を含む2段階のプロセスを採用している。 これらの技法は、しばしば、レンダリングされた都市のシーンで、限られた多様性と顕著なアーティファクトを示す。 レンダリングされたシーンは、訓練用のイメージに似ており、単調なスタイルになっている。 さらに、これらの方法は計画能力に欠けており、現実的な生成シーンは少なくなります。 本稿では,都市景観の多様性と質を両立させる革新的な枠組みであるCityCraftを紹介する。 提案手法は,まず拡散変圧器(DiT)モデルを配置し,多種かつ制御可能な2次元都市レイアウトを生成する。 その後、Large Language Model(LLM)を用いて、ユーザプロンプトと言語ガイドラインに基づいて、これらのレイアウト内でランドユースプランを戦略的に作成する。 生成したレイアウトと都市計画に基づいて,Blenderとアセット検索モジュールを用いて,正確なアセット配置とシーン構築を行う。 1)都市部の2次元意味的レイアウトを含むCityCraft-OSMデータセット、対応する衛星画像、詳細なアノテーション。 2) CityCraft-Buildingsデータセットは、何千もの多様な高品質な3Dビルディングアセットを備えている。 CityCraftは、リアルな3D都市を作る上で、最先端のパフォーマンスを実現している。

関連論文リスト

• CityX: Controllable Procedural Content Generation for Unbounded 3D Cities [55.737060358043536]
  そこで我々は,CityXという新しいマルチモーダル制御可能な手続き型コンテンツ生成手法を提案する。 OSM、セマンティックマップ、衛星画像など、複数のレイアウト条件でガイドされるリアルで無拘束の3D都市生成を強化する。 この効果的なフレームワークを通じて、CityXは3Dシーン生成のための革新的なエコシステムを構築する可能性を示している。
  論文  参考訳（メタデータ） (2024-07-24T18:05:13Z)
• Urban Architect: Steerable 3D Urban Scene Generation with Layout Prior [43.14168074750301]
  合成3Dレイアウト表現をテキストから3Dのパラダイムに導入し、さらに先行として機能する。 単純な幾何学的構造と明示的な配置関係を持つ意味的プリミティブの集合から構成される。 また,様々なシーン編集デモを行い,ステアブルな都市景観生成の力を示す。
  論文  参考訳（メタデータ） (2024-04-10T06:41:30Z)
• SceneX:Procedural Controllable Large-scale Scene Generation via Large-language Models [53.961002112433576]
  本稿では,デザイナーのテキスト記述に従って高品質なプロシージャモデルを自動生成する大規模シーン生成フレームワークであるSceneXを紹介する。 私たちのSceneXは、微妙な幾何学的レイアウトと構造を持つ2.5km×2.5kmの都市を生成でき、プロのPCGエンジニアの数週間の時間を大幅に短縮して、普通のユーザにとっては数時間に過ぎません。
  論文  参考訳（メタデータ） (2024-03-23T03:23:29Z)
• Urban Scene Diffusion through Semantic Occupancy Map [49.20779809250597]
  UrbanDiffusionは、Bird's-Eye View (BEV)マップに条件付き3次元拡散モデルである。 我々のモデルは,潜在空間内のシーンレベルの構造の分布を学習する。 実世界の運転データセットをトレーニングした後、我々のモデルは多様な都市シーンを生成することができる。
  論文  参考訳（メタデータ） (2024-03-18T11:54:35Z)
• Sat2Scene: 3D Urban Scene Generation from Satellite Images with Diffusion [77.34078223594686]
  本稿では,3次元スパース表現に拡散モデルを導入し,それらをニューラルレンダリング技術と組み合わせることで,直接3次元シーン生成のための新しいアーキテクチャを提案する。 具体的には、まず3次元拡散モデルを用いて、所定の幾何学の点レベルのテクスチャ色を生成し、次にフィードフォワード方式でシーン表現に変換する。 2つの都市規模データセットを用いた実験により,衛星画像から写真リアルなストリートビュー画像シーケンスとクロスビュー都市シーンを生成する能力を示した。
  論文  参考訳（メタデータ） (2024-01-19T16:15:37Z)
• CityGen: Infinite and Controllable 3D City Layout Generation [26.1563802843242]
  CityGenは、無限で多様性があり、制御可能な3D都市レイアウト生成のための新しいエンドツーエンドフレームワークである。 CityGenは、FIDおよびKIDの下での最先端のSOTA(State-of-the-art)のパフォーマンスを達成し、無限に制御可能な3D都市レイアウトを生成する。
  論文  参考訳（メタデータ） (2023-12-03T21:16:37Z)
• MatrixCity: A Large-scale City Dataset for City-scale Neural Rendering and Beyond [69.37319723095746]
  都市規模のニューラルレンダリング研究のための大規模で包括的で高品質な合成データセットを構築します。 本研究では,地上カメラのポーズと追加データモダリティを伴って,航空・街路ビューを容易に収集するパイプラインを構築した。 その結果得られたパイロットデータセットMatrixCityには、合計28km2$の2つの都市地図から、67kの空中画像と452kのストリート画像が含まれている。
  論文  参考訳（メタデータ） (2023-09-28T16:06:02Z)
• CityDreamer: Compositional Generative Model of Unbounded 3D Cities [44.203932215464214]
  CityDreamerは、非有界な3D都市向けに特別に設計された合成モデルである。 我々は、鳥の視線シーン表現を採用し、インスタンス指向と物指向のニューラルフィールドの両方にボリュームレンダリングを採用する。 CityDreamerは、現実的な3D都市を生成するだけでなく、生成された都市内の局所的な編集でも、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2023-09-01T17:57:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。