論文の概要: Multimodal Diffusion Bridge with Attention-Based SAR Fusion for Satellite Image Cloud Removal

• arxiv url: http://arxiv.org/abs/2504.03607v1
• Date: Fri, 04 Apr 2025 17:25:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-07 14:48:01.917198
• Title: Multimodal Diffusion Bridge with Attention-Based SAR Fusion for Satellite Image Cloud Removal
• Title（参考訳）: 衛星画像雲除去のための注意型SAR融合によるマルチモーダル拡散ブリッジ
• Authors: Yuyang Hu, Suhas Lohit, Ulugbek S. Kamilov, Tim K. Marks,
• Abstract要約: クラウド除去のための拡散ブリッジ、DB-CR、クラウドとクラウドフリーの画像分散の間のブリッジ。 DB-CRは計算効率が良く、高忠実度が得られる。
• 参考スコア（独自算出の注目度）: 15.014162404892557
• License:
• Abstract: Deep learning has achieved some success in addressing the challenge of cloud removal in optical satellite images, by fusing with synthetic aperture radar (SAR) images. Recently, diffusion models have emerged as powerful tools for cloud removal, delivering higher-quality estimation by sampling from cloud-free distributions, compared to earlier methods. However, diffusion models initiate sampling from pure Gaussian noise, which complicates the sampling trajectory and results in suboptimal performance. Also, current methods fall short in effectively fusing SAR and optical data. To address these limitations, we propose Diffusion Bridges for Cloud Removal, DB-CR, which directly bridges between the cloudy and cloud-free image distributions. In addition, we propose a novel multimodal diffusion bridge architecture with a two-branch backbone for multimodal image restoration, incorporating an efficient backbone and dedicated cross-modality fusion blocks to effectively extract and fuse features from synthetic aperture radar (SAR) and optical images. By formulating cloud removal as a diffusion-bridge problem and leveraging this tailored architecture, DB-CR achieves high-fidelity results while being computationally efficient. We evaluated DB-CR on the SEN12MS-CR cloud-removal dataset, demonstrating that it achieves state-of-the-art results.
• Abstract（参考訳）: 深層学習は、合成開口レーダー(SAR)画像と融合することにより、光学衛星画像における雲除去の課題に対処することに成功した。 近年, 拡散モデルがクラウド除去の強力なツールとして登場し, 従来の手法と比較して, クラウドフリー分布からのサンプリングによる高品質な推定を実現している。 しかし、拡散モデルは、サンプリング軌跡を複雑にし、最適以下の性能をもたらす純粋なガウス雑音からのサンプリングを開始する。 また、現在の手法はSARと光データを効果的に融合させるには不十分である。 これらの制約に対処するため,クラウド除去のためのDiffusion Bridges,DB-CRを提案する。 さらに,合成開口レーダ(SAR)と光画像から効率よく特徴を抽出・融合するために,効率的なバックボーンと専用のクロスモーダル融合ブロックを組み込んだ2分岐バックボーンを有する新しいマルチモーダル拡散ブリッジアーキテクチャを提案する。 雲の除去を拡散ブリッジ問題として定式化し、この調整されたアーキテクチャを活用することにより、DB-CRは計算効率の良い高忠実度な結果が得られる。 我々は、SEN12MS-CRクラウド除去データセット上でDB-CRを評価し、最先端の結果が得られたことを実証した。

関連論文リスト

• Conditional Brownian Bridge Diffusion Model for VHR SAR to Optical Image Translation [5.578820789388206]
  本稿では,Brownian Bridge Diffusion Model(BBDM)に基づく条件付き画像から画像への変換手法を提案する。 我々は、MSAWデータセット、ペアSAR、0.5m Very-High-Resolution (VHR) の光学画像収集に関する総合的な実験を行った。
  論文  参考訳（メタデータ） (2024-08-15T05:43:46Z)
• IDF-CR: Iterative Diffusion Process for Divide-and-Conquer Cloud Removal in Remote-sensing Images [55.40601468843028]
  雲除去のための反復拡散過程(IDF-CR)を提案する。 IDF-CRは、ピクセル空間と潜在空間に対処する2段階のモデルに分けられる。 潜時空間の段階では、拡散モデルは低品質の雲の除去を高品質のクリーンな出力に変換する。
  論文  参考訳（メタデータ） (2024-03-18T15:23:48Z)
• Diffusion Enhancement for Cloud Removal in Ultra-Resolution Remote Sensing Imagery [48.14610248492785]
  雲層は、光学リモートセンシング(RS)画像の品質と効果を著しく損なう。 既存のディープラーニング(DL)ベースのクラウド削除(CR)技術は、元の視覚的正当性と画像の詳細なセマンティック内容の正確な再構築に困難を伴う。 この課題に対処するために、データと方法論の面での強化を提案する。
  論文  参考訳（メタデータ） (2024-01-25T13:14:17Z)
• Diffusion Models for Interferometric Satellite Aperture Radar [73.01013149014865]
  確率拡散モデル (Probabilistic Diffusion Models, PDMs) は、最近、非常に有望な生成モデルのクラスとして登場した。 ここでは、PDMを活用して、レーダーベースの衛星画像データセットを複数生成する。 PDMは複雑で現実的な構造を持つ画像を生成することに成功したが、サンプリング時間は依然として問題である。
  論文  参考訳（メタデータ） (2023-08-31T16:26:17Z)
• DiffCR: A Fast Conditional Diffusion Framework for Cloud Removal from Optical Satellite Images [27.02507384522271]
  本稿では,光衛星画像の高速クラウド除去に深部畳み込みネットワークを用いた条件付き拡散を利用したDiffCRという新しいフレームワークを提案する。 条件付き特徴抽出のための分離エンコーダを導入し、条件付き入力と合成出力との外観情報の密接な類似性を確保するために、ロバストな色表現を提供する。
  論文  参考訳（メタデータ） (2023-08-08T17:34:28Z)
• ResShift: Efficient Diffusion Model for Image Super-resolution by Residual Shifting [70.83632337581034]
  拡散に基づく画像超解像法(SR)は主に低推論速度によって制限される。 本稿では,SRの拡散段数を大幅に削減する新しい,効率的な拡散モデルを提案する。 本手法は,残差をシフトすることで高分解能画像と低分解能画像の間を移動させるマルコフ連鎖を構成する。
  論文  参考訳（メタデータ） (2023-07-23T15:10:02Z)
• Low-Light Image Enhancement with Wavelet-based Diffusion Models [50.632343822790006]
  拡散モデルは画像復元作業において有望な結果を得たが、時間を要する、過剰な計算資源消費、不安定な復元に悩まされている。 本稿では,DiffLLと呼ばれる高能率かつ高能率な拡散型低光画像強調手法を提案する。
  論文  参考訳（メタデータ） (2023-06-01T03:08:28Z)
• Denoising Diffusion Models for Plug-and-Play Image Restoration [135.6359475784627]
  本稿では,従来のプラグアンドプレイ方式を拡散サンプリングフレームワークに統合したDiffPIRを提案する。 DiffPIRは、差別的なガウスのデノイザーに依存するプラグアンドプレイIR法と比較して、拡散モデルの生成能力を継承することが期待されている。
  論文  参考訳（メタデータ） (2023-05-15T20:24:38Z)
• Exploring the Potential of SAR Data for Cloud Removal in Optical Satellite Imagery [41.40522618945897]
  我々は,SAR画像に埋め込まれた補完情報を活用するために,新しいグローバルローカル核融合型クラウド除去アルゴリズム(GLF-CR)を提案する。 提案アルゴリズムは高品質なクラウドフリーな画像を得ることができ、最先端のクラウド除去アルゴリズムに対して好適に機能する。
  論文  参考訳（メタデータ） (2022-06-06T18:53:19Z)
• Seeing Through Clouds in Satellite Images [14.84582204034532]
  本稿では,衛星画像中の雲に隠されたピクセルを回復するためのニューラルネットワークベースのソリューションを提案する。 我々は、雲を貫通する超高周波数帯の電波周波数(RF)信号を活用し、マルチスペクトル画像における隠蔽領域の再構成を支援する。
  論文  参考訳（メタデータ） (2021-06-15T20:01:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。