論文の概要: Geospecific View Generation -- Geometry-Context Aware High-resolution Ground View Inference from Satellite Views
- arxiv url: http://arxiv.org/abs/2407.08061v4
- Date: Thu, 12 Sep 2024 18:35:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-16 22:48:01.029876
- Title: Geospecific View Generation -- Geometry-Context Aware High-resolution Ground View Inference from Satellite Views
- Title（参考訳）: 地形ビュー生成 -衛星ビューからの高分解能地上ビュー推定を考慮した幾何学的文脈-
- Authors: Ningli Xu, Rongjun Qin,
- Abstract要約: 多視点衛星画像から弱い幾何学やテクスチャを最大限に尊重するジオ特殊ビューを生成するための新しいパイプラインを提案する。
本手法は,衛星画像からの包括的情報を用いて,位置の地上画像を直接予測する。
我々のパイプラインは、衛星画像のみに基づいて、実物に近い地上ビューを初めて生成したものであることを実証する。
- 参考スコア（独自算出の注目度）: 5.146618378243241
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Predicting realistic ground views from satellite imagery in urban scenes is a challenging task due to the significant view gaps between satellite and ground-view images. We propose a novel pipeline to tackle this challenge, by generating geospecifc views that maximally respect the weak geometry and texture from multi-view satellite images. Different from existing approaches that hallucinate images from cues such as partial semantics or geometry from overhead satellite images, our method directly predicts ground-view images at geolocation by using a comprehensive set of information from the satellite image, resulting in ground-level images with a resolution boost at a factor of ten or more. We leverage a novel building refinement method to reduce geometric distortions in satellite data at ground level, which ensures the creation of accurate conditions for view synthesis using diffusion networks. Moreover, we proposed a novel geospecific prior, which prompts distribution learning of diffusion models to respect image samples that are closer to the geolocation of the predicted images. We demonstrate our pipeline is the first to generate close-to-real and geospecific ground views merely based on satellite images.
- Abstract（参考訳）: 都市部における衛星画像からの現実的な地上映像の予測は、衛星画像と地上画像の間に大きな差があるため、難しい課題である。
本稿では, この課題に対処するための新しいパイプラインを提案し, 多視点衛星画像から, 弱幾何やテクスチャを最大限に尊重する地形ビューを生成する。
衛星画像から部分的意味論や幾何などの画像から画像に幻覚を与える既存の手法とは異なり,衛星画像からの包括的情報を用いて地上画像を直接推定し,分解能を10以上向上させる。
本研究では,地表面における衛星データの幾何歪みを低減し,拡散ネットワークを用いた視線合成のための正確な条件の作成を実現するために,新しい建物改良手法を利用する。
さらに,予測画像の位置に近い画像サンプルを尊重するため,拡散モデルの分布学習を促す新しい地理特化先行手法を提案する。
我々のパイプラインは、衛星画像のみに基づいて、実物に近い地上ビューを初めて生成したものであることを実証する。
関連論文リスト
- Weakly-supervised Camera Localization by Ground-to-satellite Image Registration [52.54992898069471]
本稿では,地対衛星画像登録のための弱教師付き学習戦略を提案する。
地上画像ごとに正の衛星画像と負の衛星画像を導き出す。
また,クロスビュー画像の相対回転推定のための自己超越戦略を提案する。
論文 参考訳（メタデータ） (2024-09-10T12:57:16Z) - Sat2Scene: 3D Urban Scene Generation from Satellite Images with Diffusion [77.34078223594686]
本稿では,3次元スパース表現に拡散モデルを導入し,それらをニューラルレンダリング技術と組み合わせることで,直接3次元シーン生成のための新しいアーキテクチャを提案する。
具体的には、まず3次元拡散モデルを用いて、所定の幾何学の点レベルのテクスチャ色を生成し、次にフィードフォワード方式でシーン表現に変換する。
2つの都市規模データセットを用いた実験により,衛星画像から写真リアルなストリートビュー画像シーケンスとクロスビュー都市シーンを生成する能力を示した。
論文 参考訳（メタデータ） (2024-01-19T16:15:37Z) - DiffusionSat: A Generative Foundation Model for Satellite Imagery [63.2807119794691]
現在、DiffusionSatは、現在利用可能な大規模な高解像度リモートセンシングデータセットのコレクションに基づいてトレーニングされている、最大の生成基盤モデルである。
提案手法は, リアルタイムなサンプルを作成し, 時間生成, マルチスペクトル入力の超解像, インペイントなどの複数の生成課題を解くのに利用できる。
論文 参考訳（メタデータ） (2023-12-06T16:53:17Z) - Cross-View Visual Geo-Localization for Outdoor Augmented Reality [11.214903134756888]
地上画像のクロスビューマッチングによる測地位置推定の課題をジオレファレンス衛星画像データベースに解決する。
本稿では,新しいトランスフォーマーニューラルネットワークモデルを提案する。
いくつかのベンチマーク・クロスビュー・ジオローカライズ・データセットの実験により、我々のモデルが最先端の性能を達成することを示す。
論文 参考訳（メタデータ） (2023-03-28T01:58:03Z) - Unsupervised Discovery of Semantic Concepts in Satellite Imagery with
Style-based Wavelet-driven Generative Models [27.62417543307831]
本稿では,衛星画像の広帯域合成が可能な,最初の事前学習型およびウェーブレット型GANモデルを提案する。
ネットワークの中間的アクティベーションを解析することにより、解釈可能なセマンティックな方向を多数発見できることが示される。
論文 参考訳（メタデータ） (2022-08-03T14:19:24Z) - Accurate 3-DoF Camera Geo-Localization via Ground-to-Satellite Image
Matching [102.39635336450262]
地上で取得したクエリ画像とジオタグ付き衛星画像の大規模データベースとをマッチングすることにより、地上から衛星画像のジオローカライズの問題に対処する。
我々の新しい手法は、衛星画像のピクセルサイズの精度まで、クエリー画像のきめ細かい位置を達成できる。
論文 参考訳（メタデータ） (2022-03-26T20:10:38Z) - Coming Down to Earth: Satellite-to-Street View Synthesis for
Geo-Localization [9.333087475006003]
クロスビュー画像に基づくジオローカライズは,この2つの領域間の視野と外観の違いから,非常に困難である。
衛星入力からリアルなストリートビューを合成することで,この不一致を明示的に解決できることを示す。
本稿では,画像合成と検索を共同で行うマルチタスクアーキテクチャを提案する。
論文 参考訳（メタデータ） (2021-03-11T17:40:59Z) - Geometry-Guided Street-View Panorama Synthesis from Satellite Imagery [80.6282101835164]
オーバヘッド衛星画像から新しいストリートビューパノラマを合成するための新しいアプローチを提案する。
本手法は,googleの全方位ストリートビュー型パノラマを,衛星パッチの中央と同じ地理的位置から取得したかのように生成する。
論文 参考訳（メタデータ） (2021-03-02T10:27:05Z) - Boundary Regularized Building Footprint Extraction From Satellite Images
Using Deep Neural Network [6.371173732947292]
本稿では,1つの衛星画像から構築事例を共同で検出し,ノイズの多い建物の境界形状を規則化する,新しいディープニューラルネットワークを提案する。
本モデルでは,オブジェクトの局所化,認識,セマンティックラベリング,幾何学的形状抽出を同時に行うことができる。
論文 参考訳（メタデータ） (2020-06-23T17:24:09Z) - Deep 3D Capture: Geometry and Reflectance from Sparse Multi-View Images [59.906948203578544]
本稿では,任意の物体の高品質な形状と複雑な空間変化を持つBRDFを再構成する学習に基づく新しい手法を提案する。
まず、深層多視点ステレオネットワークを用いて、ビューごとの深度マップを推定する。
これらの深度マップは、異なるビューを粗く整列するために使用される。
本稿では,新しい多視点反射率推定ネットワークアーキテクチャを提案する。
論文 参考訳（メタデータ） (2020-03-27T21:28:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。