論文の概要: CityDreamer: Compositional Generative Model of Unbounded 3D Cities
- arxiv url: http://arxiv.org/abs/2309.00610v3
- Date: Thu, 6 Jun 2024 00:38:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-08 00:49:21.092072
- Title: CityDreamer: Compositional Generative Model of Unbounded 3D Cities
- Title（参考訳）: CityDreamer: 無制限3次元都市の構成生成モデル
- Authors: Haozhe Xie, Zhaoxi Chen, Fangzhou Hong, Ziwei Liu,
- Abstract要約: CityDreamerは、非有界な3D都市向けに特別に設計された合成モデルである。
我々は、鳥の視線シーン表現を採用し、インスタンス指向と物指向のニューラルフィールドの両方にボリュームレンダリングを採用する。
CityDreamerは、現実的な3D都市を生成するだけでなく、生成された都市内の局所的な編集でも、最先端のパフォーマンスを実現している。
- 参考スコア（独自算出の注目度）: 44.203932215464214
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: 3D city generation is a desirable yet challenging task, since humans are more sensitive to structural distortions in urban environments. Additionally, generating 3D cities is more complex than 3D natural scenes since buildings, as objects of the same class, exhibit a wider range of appearances compared to the relatively consistent appearance of objects like trees in natural scenes. To address these challenges, we propose \textbf{CityDreamer}, a compositional generative model designed specifically for unbounded 3D cities. Our key insight is that 3D city generation should be a composition of different types of neural fields: 1) various building instances, and 2) background stuff, such as roads and green lands. Specifically, we adopt the bird's eye view scene representation and employ a volumetric render for both instance-oriented and stuff-oriented neural fields. The generative hash grid and periodic positional embedding are tailored as scene parameterization to suit the distinct characteristics of building instances and background stuff. Furthermore, we contribute a suite of CityGen Datasets, including OSM and GoogleEarth, which comprises a vast amount of real-world city imagery to enhance the realism of the generated 3D cities both in their layouts and appearances. CityDreamer achieves state-of-the-art performance not only in generating realistic 3D cities but also in localized editing within the generated cities.
- Abstract（参考訳）: 人間は都市環境の構造的な歪みに敏感だから。
さらに、3D都市は、同じクラスのオブジェクトとして、自然のシーンで木のようなオブジェクトが比較的一貫して現れるのに比べ、より広い範囲の外観を示すため、3Dの自然のシーンよりも複雑である。
これらの課題に対処するため,本稿では,非有界な3D都市に特化して設計された合成モデルである「textbf{CityDreamer}」を提案する。
私たちの重要な洞察は、3D都市生成は異なるタイプの神経磁場の合成であるべきだということです。
1) 各種建築事例
2)道路や緑地などの背景物。
具体的には、鳥の視線シーン表現を採用し、インスタンス指向と物指向のニューラルフィールドの両方にボリュームレンダリングを用いる。
生成ハッシュグリッドと周期的な位置埋め込みはシーンパラメータ化として調整され、ビルディングインスタンスと背景物の異なる特徴に適合する。
さらに,OSMやGoogleEarthなどのCityGenデータセットのスイートも提供しています。
CityDreamerは、現実的な3D都市を生成するだけでなく、生成された都市内の局所的な編集でも、最先端のパフォーマンスを実現している。
関連論文リスト
- CityX: Controllable Procedural Content Generation for Unbounded 3D Cities [55.737060358043536]
そこで我々は,CityXという新しいマルチモーダル制御可能な手続き型コンテンツ生成手法を提案する。
OSM、セマンティックマップ、衛星画像など、複数のレイアウト条件でガイドされるリアルで無拘束の3D都市生成を強化する。
この効果的なフレームワークを通じて、CityXは3Dシーン生成のための革新的なエコシステムを構築する可能性を示している。
論文 参考訳（メタデータ） (2024-07-24T18:05:13Z) - UrbanWorld: An Urban World Model for 3D City Generation [21.21375372182025]
UrbanWorldは、フレキシブルな制御条件を備えたカスタマイズされたリアルでインタラクティブな3D都市世界を自動生成できる、ジェネレーティブな都市世界モデルである。
我々は5つの視覚的指標について広範囲に定量的に分析を行い、UrbanWorldがSOTA生成リアリズムを実現していることを示す。
エージェントの認識とナビゲーションを生成環境内で示すことで,これらの環境のインタラクティブな性質を検証する。
論文 参考訳（メタデータ） (2024-07-16T17:59:29Z) - CityCraft: A Real Crafter for 3D City Generation [25.7885801163556]
CityCraftは、都市シーン生成の多様性と品質の両方を強化するために設計された革新的なフレームワークである。
提案手法は,まず拡散変圧器(DiT)モデルを用いて,多種かつ制御可能な2次元都市レイアウトを生成する。
生成したレイアウトと都市計画に基づいて,Blenderとアセット検索モジュールを用いて,正確なアセット配置とシーン構築を行う。
論文 参考訳（メタデータ） (2024-06-07T14:49:00Z) - Urban Scene Diffusion through Semantic Occupancy Map [49.20779809250597]
UrbanDiffusionは、Bird's-Eye View (BEV)マップに条件付き3次元拡散モデルである。
我々のモデルは,潜在空間内のシーンレベルの構造の分布を学習する。
実世界の運転データセットをトレーニングした後、我々のモデルは多様な都市シーンを生成することができる。
論文 参考訳（メタデータ） (2024-03-18T11:54:35Z) - Sat2Scene: 3D Urban Scene Generation from Satellite Images with Diffusion [77.34078223594686]
本稿では,3次元スパース表現に拡散モデルを導入し,それらをニューラルレンダリング技術と組み合わせることで,直接3次元シーン生成のための新しいアーキテクチャを提案する。
具体的には、まず3次元拡散モデルを用いて、所定の幾何学の点レベルのテクスチャ色を生成し、次にフィードフォワード方式でシーン表現に変換する。
2つの都市規模データセットを用いた実験により,衛星画像から写真リアルなストリートビュー画像シーケンスとクロスビュー都市シーンを生成する能力を示した。
論文 参考訳（メタデータ） (2024-01-19T16:15:37Z) - SceneWiz3D: Towards Text-guided 3D Scene Composition [134.71933134180782]
既存のアプローチでは、大規模なテキスト・ツー・イメージモデルを使用して3D表現を最適化するか、オブジェクト中心のデータセット上で3Dジェネレータをトレーニングする。
テキストから高忠実度3Dシーンを合成する新しい手法であるSceneWiz3Dを紹介する。
論文 参考訳（メタデータ） (2023-12-13T18:59:30Z) - SceneDreamer: Unbounded 3D Scene Generation from 2D Image Collections [49.802462165826554]
SceneDreamerは,非有界な3次元シーンの無条件生成モデルである。
フレームワークは,3Dアノテーションを使わずに,Wild 2Dイメージコレクションのみから学習する。
論文 参考訳（メタデータ） (2023-02-02T18:59:16Z) - Projective Urban Texturing [8.349665441428925]
没入型都市環境における3次元都市メッシュのテクスチャ自動生成手法を提案する。
Projective Urban Texturing (PUT)は、実際のパノラマ画像から見えない都市メッシュへのテクスチャスタイルを再ターゲットする。
PUTは、未ペア画像からテクスチャへの変換用に設計されたニューラルアーキテクチャの、対照的で敵対的なトレーニングに依存している。
論文 参考訳（メタデータ） (2022-01-25T14:56:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。