論文の概要: Sat2Scene: 3D Urban Scene Generation from Satellite Images with Diffusion

• arxiv url: http://arxiv.org/abs/2401.10786v1
• Date: Fri, 19 Jan 2024 16:15:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-22 15:22:08.489759
• Title: Sat2Scene: 3D Urban Scene Generation from Satellite Images with Diffusion
• Title（参考訳）: Sat2Scene:衛星画像からの3次元都市景観生成
• Authors: Zuoyue Li, Zhenqiang Li, Zhaopeng Cui, Marc Pollefeys, Martin R. Oswald
• Abstract要約: 本稿では,3次元スパース表現に拡散モデルを導入し,それらをニューラルレンダリング技術と組み合わせることで,直接3次元シーン生成のための新しいアーキテクチャを提案する。 具体的には、まず3次元拡散モデルを用いて、所定の幾何学の点レベルのテクスチャ色を生成し、次にフィードフォワード方式でシーン表現に変換する。 2つの都市規模データセットを用いた実験により,衛星画像から写真リアルなストリートビュー画像シーケンスとクロスビュー都市シーンを生成する能力を示した。
• 参考スコア（独自算出の注目度）: 82.97474530980999
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Directly generating scenes from satellite imagery offers exciting possibilities for integration into applications like games and map services. However, challenges arise from significant view changes and scene scale. Previous efforts mainly focused on image or video generation, lacking exploration into the adaptability of scene generation for arbitrary views. Existing 3D generation works either operate at the object level or are difficult to utilize the geometry obtained from satellite imagery. To overcome these limitations, we propose a novel architecture for direct 3D scene generation by introducing diffusion models into 3D sparse representations and combining them with neural rendering techniques. Specifically, our approach generates texture colors at the point level for a given geometry using a 3D diffusion model first, which is then transformed into a scene representation in a feed-forward manner. The representation can be utilized to render arbitrary views which would excel in both single-frame quality and inter-frame consistency. Experiments in two city-scale datasets show that our model demonstrates proficiency in generating photo-realistic street-view image sequences and cross-view urban scenes from satellite imagery.
• Abstract（参考訳）: 衛星画像からシーンを直接生成することは、ゲームや地図サービスのようなアプリケーションに統合するエキサイティングな可能性をもたらす。 しかし、大きな視点の変化とシーンスケールから課題が生じる。 以前の取り組みは、主に画像またはビデオ生成に焦点を当て、任意のビューに対するシーン生成の適応性の探求を欠いていた。 既存の3d生成作品は物体レベルで動作するか、衛星画像から得られた形状を利用するのが困難である。 これらの制約を克服するために,3次元スパース表現に拡散モデルを導入し,それらをニューラルレンダリング技術と組み合わせることで,直接3次元シーン生成のための新しいアーキテクチャを提案する。 具体的には、まず3次元拡散モデルを用いて、所定の幾何学の点レベルのテクスチャ色を生成し、次にフィードフォワード方式でシーン表現に変換する。 この表現は、任意のビューをレンダリングするために使用することができ、単一のフレーム品質とフレーム間の一貫性の両方に優れる。 2つの都市規模データセットによる実験により,衛星画像からリアルなストリートビュー画像シーケンスとクロスビュー都市シーンを生成する能力を示した。

関連論文リスト

• Urban Scene Diffusion through Semantic Occupancy Map [49.20779809250597]
  UrbanDiffusionは、Bird's-Eye View (BEV)マップに条件付き3次元拡散モデルである。 我々のモデルは,潜在空間内のシーンレベルの構造の分布を学習する。 実世界の運転データセットをトレーニングした後、我々のモデルは多様な都市シーンを生成することができる。
  論文  参考訳（メタデータ） (2024-03-18T11:54:35Z)
• 3D-SceneDreamer: Text-Driven 3D-Consistent Scene Generation [51.64796781728106]
  本稿では,2次元拡散モデル以前の自然画像と,現在のシーンのグローバルな3次元情報を利用して,高品質で新しいコンテンツを合成する生成的精細化ネットワークを提案する。 提案手法は,視覚的品質と3次元の整合性を改善した多種多様なシーン生成と任意のカメラトラジェクトリをサポートする。
  論文  参考訳（メタデータ） (2024-03-14T14:31:22Z)
• Denoising Diffusion via Image-Based Rendering [54.20828696348574]
  実世界の3Dシーンの高速かつ詳細な再構築と生成を可能にする最初の拡散モデルを提案する。 まず、大きな3Dシーンを効率よく正確に表現できる新しいニューラルシーン表現であるIBプレーンを導入する。 第二に,2次元画像のみを用いて,この新たな3次元シーン表現の事前学習を行うためのデノイング拡散フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-05T19:00:45Z)
• NeuralField-LDM: Scene Generation with Hierarchical Latent Diffusion Models [85.20004959780132]
  複雑な3D環境を合成できる生成モデルであるNeuralField-LDMを紹介する。 NeuralField-LDMは,条件付きシーン生成,シーンインペインティング,シーンスタイル操作など,さまざまな3Dコンテンツ作成アプリケーションに利用できることを示す。
  論文  参考訳（メタデータ） (2023-04-19T16:13:21Z)
• Urban Radiance Fields [77.43604458481637]
  本研究では,都市屋外環境における世界地図作成によく利用されるスキャニングプラットフォームによって収集されたデータから3次元再構成と新しいビュー合成を行う。 提案手法は、制御された環境下での小さなシーンのための現実的な新しい画像の合成を実証したニューラルラジアンス場を拡張している。 これら3つのエクステンションはそれぞれ、ストリートビューデータの実験において、大幅なパフォーマンス改善を提供する。
  論文  参考訳（メタデータ） (2021-11-29T15:58:16Z)
• Procedural 3D Terrain Generation using Generative Adversarial Networks [0.0]
  我々はGAN(Generative Adversarial Networks)を用いて、衛星やドローンが捉えた風景のリモートセンシング画像の分布に基づいて、現実的な3D環境を作り出す。 我々は、トレーニング中に提供されるリモートセンシングされた景観に関連して、高所分布と彩色が可能な3次元景観を構築することができる。
  論文  参考訳（メタデータ） (2020-10-13T14:15:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。