論文の概要: Urban Scene Diffusion through Semantic Occupancy Map

• arxiv url: http://arxiv.org/abs/2403.11697v2
• Date: Tue, 19 Mar 2024 04:37:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-20 12:44:53.199532
• Title: Urban Scene Diffusion through Semantic Occupancy Map
• Title（参考訳）: セマンティック占領地図による都市景観の拡散
• Authors: Junge Zhang, Qihang Zhang, Li Zhang, Ramana Rao Kompella, Gaowen Liu, Bolei Zhou,
• Abstract要約: UrbanDiffusionは、Bird's-Eye View (BEV)マップに条件付き3次元拡散モデルである。 我々のモデルは,潜在空間内のシーンレベルの構造の分布を学習する。 実世界の運転データセットをトレーニングした後、我々のモデルは多様な都市シーンを生成することができる。
• 参考スコア（独自算出の注目度）: 49.20779809250597
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generating unbounded 3D scenes is crucial for large-scale scene understanding and simulation. Urban scenes, unlike natural landscapes, consist of various complex man-made objects and structures such as roads, traffic signs, vehicles, and buildings. To create a realistic and detailed urban scene, it is crucial to accurately represent the geometry and semantics of the underlying objects, going beyond their visual appearance. In this work, we propose UrbanDiffusion, a 3D diffusion model that is conditioned on a Bird's-Eye View (BEV) map and generates an urban scene with geometry and semantics in the form of semantic occupancy map. Our model introduces a novel paradigm that learns the data distribution of scene-level structures within a latent space and further enables the expansion of the synthesized scene into an arbitrary scale. After training on real-world driving datasets, our model can generate a wide range of diverse urban scenes given the BEV maps from the held-out set and also generalize to the synthesized maps from a driving simulator. We further demonstrate its application to scene image synthesis with a pretrained image generator as a prior.
• Abstract（参考訳）: 非有界な3次元シーンの生成は、大規模シーンの理解とシミュレーションに不可欠である。 都市景観は自然景観とは異なり、道路、交通標識、車両、建物などの複雑な人工物や構造物で構成されている。 現実的かつ詳細な都市景観を作り出すためには、基礎となる物体の幾何学や意味を正確に表現することが重要であり、その外観を超えていく。 本研究では,Bird-Eye View (BEV) マップ上に条件付き3次元拡散モデルであるUrbanDiffusionを提案する。 本モデルでは,潜在空間内のシーンレベルの構造データ分布を学習し,さらに任意のスケールに合成されたシーンを拡張可能な新しいパラダイムを提案する。 実世界の運転データセットをトレーニングした後、BEVマップが保持された集合から得られた多様な都市景観を生成できるとともに、運転シミュレータから合成された地図に一般化することができる。 さらに,事前学習した画像生成装置を用いたシーン画像合成への応用を実証する。

関連論文リスト

• Urban Architect: Steerable 3D Urban Scene Generation with Layout Prior [43.14168074750301]
  合成3Dレイアウト表現をテキストから3Dのパラダイムに導入し、さらに先行として機能する。 単純な幾何学的構造と明示的な配置関係を持つ意味的プリミティブの集合から構成される。 また,様々なシーン編集デモを行い,ステアブルな都市景観生成の力を示す。
  論文  参考訳（メタデータ） (2024-04-10T06:41:30Z)
• 3D scene generation from scene graphs and self-attention [51.49886604454926]
  本稿では,シーングラフとフロアプランから3次元シーンを合成する条件付き変分オートエンコーダ(cVAE)モデルを提案する。 我々は、シーン内のオブジェクト間の高レベルな関係をキャプチャするために、自己注意層の特性を利用する。
  論文  参考訳（メタデータ） (2024-04-02T12:26:17Z)
• Sat2Scene: 3D Urban Scene Generation from Satellite Images with Diffusion [77.34078223594686]
  本稿では,3次元スパース表現に拡散モデルを導入し,それらをニューラルレンダリング技術と組み合わせることで,直接3次元シーン生成のための新しいアーキテクチャを提案する。 具体的には、まず3次元拡散モデルを用いて、所定の幾何学の点レベルのテクスチャ色を生成し、次にフィードフォワード方式でシーン表現に変換する。 2つの都市規模データセットを用いた実験により,衛星画像から写真リアルなストリートビュー画像シーケンスとクロスビュー都市シーンを生成する能力を示した。
  論文  参考訳（メタデータ） (2024-01-19T16:15:37Z)
• CityDreamer: Compositional Generative Model of Unbounded 3D Cities [44.203932215464214]
  CityDreamerは、非有界な3D都市向けに特別に設計された合成モデルである。 我々は、鳥の視線シーン表現を採用し、インスタンス指向と物指向のニューラルフィールドの両方にボリュームレンダリングを採用する。 CityDreamerは、現実的な3D都市を生成するだけでなく、生成された都市内の局所的な編集でも、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2023-09-01T17:57:02Z)
• CommonScenes: Generating Commonsense 3D Indoor Scenes with Scene Graph Diffusion [83.30168660888913]
  シーングラフを対応する制御可能な3Dシーンに変換する完全生成モデルであるCommonScenesを提案する。 パイプラインは2つのブランチで構成されており、1つは変分オートエンコーダでシーン全体のレイアウトを予測し、もう1つは互換性のある形状を生成する。 生成されたシーンは、入力シーングラフを編集し、拡散モデルのノイズをサンプリングすることで操作することができる。
  論文  参考訳（メタデータ） (2023-05-25T17:39:13Z)
• Neural Groundplans: Persistent Neural Scene Representations from a Single Image [90.04272671464238]
  本稿では,シーンの2次元画像観察を永続的な3次元シーン表現にマッピングする手法を提案する。 本稿では,永続的でメモリ効率のよいシーン表現として,条件付きニューラルグラウンドプランを提案する。
  論文  参考訳（メタデータ） (2022-07-22T17:41:24Z)
• UrbanScene3D: A Large Scale Urban Scene Dataset and Simulator [13.510431691480727]
  本論文では,Unreal Engine 4 と AirSim をベースとした手頃なシミュレータに付随する大規模都市景観データセットを提案する。 従来の2D情報や人為的な3DCADモデルに基づいた作品とは異なり、UrbanScene3Dには、コンパクトな人造モデルと、空中画像で再構成された詳細な現実世界モデルの両方が含まれている。
  論文  参考訳（メタデータ） (2021-07-09T07:56:46Z)
• Future Urban Scenes Generation Through Vehicles Synthesis [90.1731992199415]
  本研究では,都市景観の視覚的外観を予測するためのディープラーニングパイプラインを提案する。 ループには解釈可能な情報が含まれ、各アクターは独立してモデル化される。 従来のCityFlowのシーン生成手法に比べて,このアプローチが優れていることを示す。
  論文  参考訳（メタデータ） (2020-07-01T08:40:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。