論文の概要: Geometry-Guided Street-View Panorama Synthesis from Satellite Imagery

• arxiv url: http://arxiv.org/abs/2103.01623v1
• Date: Tue, 2 Mar 2021 10:27:05 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-04 20:57:36.416773
• Title: Geometry-Guided Street-View Panorama Synthesis from Satellite Imagery
• Title（参考訳）: 衛星画像からのジオメトリ誘導ストリートビューパノラマ合成
• Authors: Yujiao Shi, Dylan Campbell, Xin Yu, Hongdong Li
• Abstract要約: オーバヘッド衛星画像から新しいストリートビューパノラマを合成するための新しいアプローチを提案する。 本手法は,googleの全方位ストリートビュー型パノラマを,衛星パッチの中央と同じ地理的位置から取得したかのように生成する。
• 参考スコア（独自算出の注目度）: 80.6282101835164
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: This paper presents a new approach for synthesizing a novel street-view panorama given an overhead satellite image. Taking a small satellite image patch as input, our method generates a Google's omnidirectional street-view type panorama, as if it is captured from the same geographical location as the center of the satellite patch. Existing works tackle this task as an image generation problem which adopts generative adversarial networks to implicitly learn the cross-view transformations, while ignoring the domain relevance. In this paper, we propose to explicitly establish the geometric correspondences between the two-view images so as to facilitate the cross-view transformation learning. Specifically, we observe that when a 3D point in the real world is visible in both views, there is a deterministic mapping between the projected points in the two-view images given the height information of this 3D point. Motivated by this, we develop a novel Satellite to Street-view image Projection (S2SP) module which explicitly establishes such geometric correspondences and projects the satellite images to the street viewpoint. With these projected satellite images as network input, we next employ a generator to synthesize realistic street-view panoramas that are geometrically consistent with the satellite images. Our S2SP module is differentiable and the whole framework is trained in an end-to-end manner. Extensive experimental results on two cross-view benchmark datasets demonstrate that our method generates images that better respect the scene geometry than existing approaches.
• Abstract（参考訳）: 本稿では,衛星画像を用いた新しいストリートビューパノラマの合成手法を提案する。 提案手法は,小さな衛星画像パッチを入力として,Googleのストリートビュー型パノラマを,衛星画像パッチの中央と同じ地理的位置から取得したかのように生成する。 既存の作業はこの課題を画像生成問題として取り上げ、生成的逆ネットワークを用いて暗黙的にクロスビュー変換を学習し、ドメインの関連性を無視する。 本稿では,2視点画像間の幾何対応性を明確に確立し,相互変換学習を容易にすることを提案する。 具体的には、実世界の3dポイントが両視点で見える場合、この3dポイントの高さ情報から、2次元画像内の投影されたポイントの間に決定論的マッピングが存在することを観察する。 そこで我々は,このような幾何学的対応を明示的に確立し,衛星画像を街路視点に投影する,s2sp(street-view image projection)モジュールを開発した。 次に,衛星画像をネットワーク入力として投影することで,衛星画像と幾何的に整合したリアルなストリートビューパノラマを合成する。 S2SPモジュールは差別化可能であり、フレームワーク全体がエンドツーエンドでトレーニングされています。 2つのクロスビューベンチマークデータセットの広範な実験結果は、既存のアプローチよりもシーンジオメトリをよりよく尊重する画像を生成することを実証している。

関連論文リスト

• CrossViewDiff: A Cross-View Diffusion Model for Satellite-to-Street View Synthesis [54.852701978617056]
  CrossViewDiffは、衛星間ビュー合成のためのクロスビュー拡散モデルである。 ビュー間の大きな相違による課題に対処するため、衛星シーン構造推定とクロスプラットフォームテクスチャマッピングモジュールを設計する。 合成結果のより包括的な評価を実現するため,GPTに基づくスコアリング手法を設計する。
  論文  参考訳（メタデータ） (2024-08-27T03:41:44Z)
• Sat2Scene: 3D Urban Scene Generation from Satellite Images with Diffusion [77.34078223594686]
  本稿では,3次元スパース表現に拡散モデルを導入し,それらをニューラルレンダリング技術と組み合わせることで,直接3次元シーン生成のための新しいアーキテクチャを提案する。 具体的には、まず3次元拡散モデルを用いて、所定の幾何学の点レベルのテクスチャ色を生成し、次にフィードフォワード方式でシーン表現に変換する。 2つの都市規模データセットを用いた実験により,衛星画像から写真リアルなストリートビュー画像シーケンスとクロスビュー都市シーンを生成する能力を示した。
  論文  参考訳（メタデータ） (2024-01-19T16:15:37Z)
• Sat2Density: Faithful Density Learning from Satellite-Ground Image Pairs [32.4349978810128]
  本稿では,衛星と地上画像のペアを用いた衛星画像の正確な3次元形状表現を開発することを目的とする。 そこで我々は,量的ニューラルレンダリングに使用される密度場表現からインスピレーションを得て,Sat2Densityと呼ばれる新しいアプローチを提案する。 本手法は,3次元シーンの忠実な密度場を幾何学的視点で学習するために,空と非スキー領域の地上パノラマの性質を利用する。
  論文  参考訳（メタデータ） (2023-03-26T10:15:33Z)
• Satellite Image Based Cross-view Localization for Autonomous Vehicle [59.72040418584396]
  本稿では,市販の高精細衛星画像を使用可能な地図として利用することにより,良好な精度でクロスビュー車両のローカライゼーションを実現することができることを示す。 本手法はKITTIとFord Multi-AVの季節データセットを地上ビューとして,Google Mapsを衛星ビューとして検証した。
  論文  参考訳（メタデータ） (2022-07-27T13:16:39Z)
• Geo-Localization via Ground-to-Satellite Cross-View Image Retrieval [25.93015219830576]
  ランドマークの地平面画像から,衛星視画像の検索により地理空間のクロスビュー化を図っている。 我々は、地上視と衛星視の橋渡しとして、ドローン視情報を利用する。
  論文  参考訳（メタデータ） (2022-05-22T17:35:13Z)
• Cross-View Panorama Image Synthesis [68.35351563852335]
  PanoGANは、新しい敵対的フィードバックGANフレームワークである。 PanoGANは、最先端のアプローチよりもより説得力のある、高品質なパノラマ画像生成を可能にする。
  論文  参考訳（メタデータ） (2022-03-22T15:59:44Z)
• Coming Down to Earth: Satellite-to-Street View Synthesis for Geo-Localization [9.333087475006003]
  クロスビュー画像に基づくジオローカライズは,この2つの領域間の視野と外観の違いから,非常に困難である。 衛星入力からリアルなストリートビューを合成することで,この不一致を明示的に解決できることを示す。 本稿では,画像合成と検索を共同で行うマルチタスクアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-03-11T17:40:59Z)
• Street-view Panoramic Video Synthesis from a Single Satellite Image [92.26826861266784]
  時間的および幾何学的に一貫したストリートビューパノラマビデオの両方を合成する新しい方法を提示する。 既存のクロスビュー合成アプローチは画像に重点を置いているが、そのような場合のビデオ合成はまだ十分な注目を集めていない。
  論文  参考訳（メタデータ） (2020-12-11T20:22:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。