論文の概要: Geometry-guided Cross-view Diffusion for One-to-many Cross-view Image Synthesis

• arxiv url: http://arxiv.org/abs/2412.03315v1
• Date: Wed, 04 Dec 2024 13:47:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-05 15:08:06.351489
• Title: Geometry-guided Cross-view Diffusion for One-to-many Cross-view Image Synthesis
• Title（参考訳）: 1対1のクロスビュー画像合成のための幾何学誘導型クロスビュー拡散
• Authors: Tao Jun Lin, Wenqing Wang, Yujiao Shi, Akhil Perincherry, Ankit Vora, Hongdong Li,
• Abstract要約: 本稿では,対応する衛星画像から可視な地上画像を生成することを目的とした,クロスビュー合成のための新しいアプローチを提案する。 これらの課題を衛星間(Sat2Grd)と地上間(Grd2Sat)合成と呼ぶ。
• 参考スコア（独自算出の注目度）: 48.945931374180795
• License:
• Abstract: This paper presents a novel approach for cross-view synthesis aimed at generating plausible ground-level images from corresponding satellite imagery or vice versa. We refer to these tasks as satellite-to-ground (Sat2Grd) and ground-to-satellite (Grd2Sat) synthesis, respectively. Unlike previous works that typically focus on one-to-one generation, producing a single output image from a single input image, our approach acknowledges the inherent one-to-many nature of the problem. This recognition stems from the challenges posed by differences in illumination, weather conditions, and occlusions between the two views. To effectively model this uncertainty, we leverage recent advancements in diffusion models. Specifically, we exploit random Gaussian noise to represent the diverse possibilities learnt from the target view data. We introduce a Geometry-guided Cross-view Condition (GCC) strategy to establish explicit geometric correspondences between satellite and street-view features. This enables us to resolve the geometry ambiguity introduced by camera pose between image pairs, boosting the performance of cross-view image synthesis. Through extensive quantitative and qualitative analyses on three benchmark cross-view datasets, we demonstrate the superiority of our proposed geometry-guided cross-view condition over baseline methods, including recent state-of-the-art approaches in cross-view image synthesis. Our method generates images of higher quality, fidelity, and diversity than other state-of-the-art approaches.
• Abstract（参考訳）: 本稿では,対応する衛星画像から可視な地上画像を生成することを目的とした,クロスビュー合成のための新しいアプローチを提案する。 これらの課題を衛星間(Sat2Grd)と地上間(Grd2Sat)合成と呼ぶ。 従来の1対1生成に焦点をあてて単一の入力画像から1つの出力画像を生成する手法とは異なり,本手法は問題の本質的な1対多の性質を認識している。 この認識は、照明、気象条件、および2つの見解の排他性の違いによって引き起こされる課題に起因している。 この不確実性を効果的にモデル化するために,拡散モデルの最近の進歩を利用する。 具体的には、ターゲットビューデータから学習した様々な可能性を表すために、ランダムなガウスノイズを利用する。 我々は,衛星とストリートビューの特徴の明確な幾何学的対応を確立するために,GCC(Geometry-guided Cross-view Condition)戦略を導入する。 これにより、画像対間のカメラポーズによって生じる幾何学的曖昧さを解消し、クロスビュー画像合成の性能を高めることができる。 3つのベンチマーク・クロスビュー・データセットの定量的・定性的な分析を通じて,近年のクロスビュー・画像合成の最先端手法を含むベースライン法よりも幾何誘導型クロスビュー・コンディションの優位性を示す。 本手法は,他の最先端手法よりも品質,忠実度,多様性の高い画像を生成する。

関連論文リスト

• CrossViewDiff: A Cross-View Diffusion Model for Satellite-to-Street View Synthesis [54.852701978617056]
  CrossViewDiffは、衛星間ビュー合成のためのクロスビュー拡散モデルである。 ビュー間の大きな相違による課題に対処するため、衛星シーン構造推定とクロスプラットフォームテクスチャマッピングモジュールを設計する。 合成結果のより包括的な評価を実現するため,GPTに基づくスコアリング手法を設計する。
  論文  参考訳（メタデータ） (2024-08-27T03:41:44Z)
• Rethinking Image Skip Connections in StyleGAN2 [5.929956715430167]
  スタイルGANモデルは画像合成の分野で大きな注目を集めている。 イメージスキップ接続の採用は、従来の残留接続よりも好まれる。 本稿では,画像合成の品質を大幅に向上させる画像圧縮接続を提案する。
  論文  参考訳（メタデータ） (2024-07-08T00:21:17Z)
• Explicit Correspondence Matching for Generalizable Neural Radiance Fields [49.49773108695526]
  本稿では,新たな未知のシナリオに一般化し,2つのソースビューで新規なビュー合成を行う新しいNeRF手法を提案する。 明瞭な対応マッチングは、異なるビュー上の3Dポイントの2次元投影でサンプリングされた画像特徴間のコサイン類似度と定量化される。 実験では,実験結果から得られたコサイン特徴の類似性と体積密度との間に強い相関関係が認められた。
  論文  参考訳（メタデータ） (2023-04-24T17:46:01Z)
• GM-NeRF: Learning Generalizable Model-based Neural Radiance Fields from Multi-view Images [79.39247661907397]
  本稿では,自由視点画像の合成に有効なフレームワークであるGeneralizable Model-based Neural Radiance Fieldsを提案する。 具体的には、多視点2D画像からの出現コードを幾何学的プロキシに登録するための幾何学誘導型アテンション機構を提案する。
  論文  参考訳（メタデータ） (2023-03-24T03:32:02Z)
• Geometry-Guided Street-View Panorama Synthesis from Satellite Imagery [80.6282101835164]
  オーバヘッド衛星画像から新しいストリートビューパノラマを合成するための新しいアプローチを提案する。 本手法は,googleの全方位ストリートビュー型パノラマを,衛星パッチの中央と同じ地理的位置から取得したかのように生成する。
  論文  参考訳（メタデータ） (2021-03-02T10:27:05Z)
• Street-view Panoramic Video Synthesis from a Single Satellite Image [92.26826861266784]
  時間的および幾何学的に一貫したストリートビューパノラマビデオの両方を合成する新しい方法を提示する。 既存のクロスビュー合成アプローチは画像に重点を置いているが、そのような場合のビデオ合成はまだ十分な注目を集めていない。
  論文  参考訳（メタデータ） (2020-12-11T20:22:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。