論文の概要: Prior-guided Fusion of Multimodal Features for Change Detection from Optical-SAR Images

• arxiv url: http://arxiv.org/abs/2604.05527v1
• Date: Tue, 07 Apr 2026 07:28:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-08 17:42:09.686539
• Title: Prior-guided Fusion of Multimodal Features for Change Detection from Optical-SAR Images
• Title（参考訳）: 光SAR画像からの変化検出のためのマルチモーダル特徴の事前誘導融合
• Authors: Xuanguang Liu, Lei Ding, Yujie Li, Chenguang Dai, Zhenchao Zhang, Mengmeng Li, Ziyi Yang, Yifan Sun, Yongqi Sun, Hanyun Wang,
• Abstract要約: Multimodal Change Detection (MMCD)は、マルチモーダルリモートセンシング(RS)データの変化領域を特定する。 MMCDアプローチは、クロスモーダル相互作用の限界を示し、モダリティ固有の特性を利用する。 光学的セマンティック画像とSAR画像間のMMCDのためのフレームワークSTSF-Netを提案する。
• 参考スコア（独自算出の注目度）: 25.450869122142787
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal change detection (MMCD) identifies changed areas in multimodal remote sensing (RS) data, demonstrating significant application value in land use monitoring, disaster assessment, and urban sustainable development. However, literature MMCD approaches exhibit limitations in cross-modal interaction and exploiting modality-specific characteristics. This leads to insufficient modeling of fine-grained change information, thus hindering the precise detection of semantic changes in multimodal data. To address the above problems, we propose STSF-Net, a framework designed for MMCD between optical and SAR images. STSF-Net jointly models modality-specific and spatio-temporal common features to enhance change representations. Specifically, modality-specific features are exploited to capture genuine semantic change signals, while spatio-temporal common features are embedded to suppress pseudo-changes caused by differences in imaging mechanisms. Furthermore, we introduce an optical and SAR feature fusion strategy that adaptively adjusts feature importance based on semantic priors obtained from pre-trained foundational models, enabling semantic-guided adaptive fusion of multi-modal information. In addition, we introduce the Delta-SN6 dataset, the first openly-accessible multiclass MMCD benchmark consisting of very-high-resolution (VHR) fully polarimetric SAR and optical images. Experimental results on Delta-SN6, BRIGHT, and Wuhan-Het datasets demonstrate that our method outperforms the state-of-the-art (SOTA) by 3.21%, 1.08%, and 1.32% in mIoU, respectively. The associated code and Delta-SN6 dataset will be released at: https://github.com/liuxuanguang/STSF-Net.
• Abstract（参考訳）: マルチモーダルリモートセンシング(Multimodal Remote Sensor, RS)データにおける変化領域をMMCD(Multimodal Change Detection, MMCD)により同定し, 土地利用モニタリング, 災害評価, 都市持続可能な開発において, 重要な適用価値を示す。 しかし、文献MMCDアプローチは、相互モーダル相互作用の限界を示し、モダリティ固有の特性を利用する。 これにより、微細な変化情報のモデリングが不十分になり、マルチモーダルデータのセマンティックな変化の正確な検出が妨げられる。 上記の問題に対処するため,光学画像とSAR画像間のMMCDのためのフレームワークSTSF-Netを提案する。 STSF-Netは、変化表現を強化するために、モダリティ特化および時空間共通特徴を共同でモデル化する。 具体的には、モダリティ固有の特徴を利用して、真の意味変化信号をキャプチャし、時空間共通特徴を埋め込み、イメージングメカニズムの違いによる擬似変化を抑制する。 さらに,事前学習した基礎モデルから得られたセマンティックな事前情報に基づいて,特徴の重要度を適応的に調整する光学的およびSAR機能融合戦略を導入し,マルチモーダル情報のセマンティック誘導型アダプティブフュージョンを実現する。 さらに,超高分解能(VHR)フル偏光SARと光学画像からなる,最初のオープンアクセス可能なマルチクラスMMCDベンチマークであるDelta-SN6データセットを導入する。 Delta-SN6,BRIGHT,Wuhan-Hetの3.21%,1.08%,1.32%をmIoUで上回る結果を得た。 関連するコードとDelta-SN6データセットは、https://github.com/liuxuanguang/STSF-Net.comでリリースされる。

関連論文リスト

• Multi-Modal Building Change Detection for Large-Scale Small Changes: Benchmark and Baseline [16.08630411584202]
  光リモートセンシング画像における変化検出は, 照明変動, 季節変化, 地表面被覆材料の変動の影響を受けやすい。 本稿では,RGB-NIRビルディング変更検出ベンチマークデータセットであるLSMD(Large-scale Small-change Multi-modal dataset)を紹介する。 さらに,マルチモーダルスペクトル補間ネットワーク (MSCNet) を提案し,効率的なクロスモーダル特徴融合を実現する。
  論文  参考訳（メタデータ） (2026-03-19T16:05:05Z)
• LDGNet: A Lightweight Difference Guiding Network for Remote Sensing Change Detection [6.554696547472252]
  光リモートセンシングによる変化検出を誘導する軽量差分誘導ネットワーク(LDGNet)を提案する。 まず、軽量バックボーンネットワークの特徴表現能力を高めるために、差分誘導モジュール(DGM)を提案する。 次に,Visual State Space Model (VSSM) を用いたDADFモジュールを提案する。
  論文  参考訳（メタデータ） (2025-04-07T13:33:54Z)
• Unsupervised Modality Adaptation with Text-to-Image Diffusion Models for Semantic Segmentation [54.96563068182733]
  セグメンテーションタスクのためのテキスト・ツー・イメージ拡散モデル(MADM)を用いたモダリティ適応を提案する。 MADMは、広範囲な画像とテキストのペアで事前訓練されたテキストと画像の拡散モデルを使用して、モデルの相互モダリティ能力を向上する。 我々は,MADMが画像から深度,赤外線,イベントのモダリティといった様々なモダリティタスクにまたがって,最先端の適応性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-10-29T03:49:40Z)
• Cross-Domain Separable Translation Network for Multimodal Image Change Detection [11.25422609271201]
  マルチモーダル変化検出(MCD)はリモートセンシングコミュニティにおいて特に重要である。 本稿では,MDDの課題,特に異なるセンサの画像を比較することの難しさに対処することに焦点を当てる。 これらの制限を克服するために、新しい教師なしクロスドメイン分離型翻訳ネットワーク(CSTN)が提案されている。
  論文  参考訳（メタデータ） (2024-07-23T03:56:02Z)
• Modality Prompts for Arbitrary Modality Salient Object Detection [57.610000247519196]
  本論文は、任意のモーダリティ・サリエント物体検出(AM SOD)の課題について述べる。 任意のモダリティ、例えばRGBイメージ、RGB-Dイメージ、RGB-D-Tイメージから有能なオブジェクトを検出することを目的としている。 AM SODの2つの基本的な課題を解明するために,新しいモード適応トランス (MAT) を提案する。
  論文  参考訳（メタデータ） (2024-05-06T11:02:02Z)
• MMA-DFER: MultiModal Adaptation of unimodal models for Dynamic Facial Expression Recognition in-the-wild [81.32127423981426]
  実世界のアプリケーションでは,音声およびビデオデータに基づくマルチモーダル感情認識が重要である。 近年の手法は、強力なマルチモーダルエンコーダの事前学習に自己教師付き学習(SSL)の進歩を活用することに重点を置いている。 SSL-pre-trained disimodal encoders を用いて,この問題に対する異なる視点とマルチモーダル DFER の性能向上について検討する。
  論文  参考訳（メタデータ） (2024-04-13T13:39:26Z)
• Unleashing Network Potentials for Semantic Scene Completion [50.95486458217653]
  本稿では,新しいSSCフレームワーク - Adrial Modality Modulation Network (AMMNet)を提案する。 AMMNetは、モダリティ間の勾配流の相互依存性を可能にするクロスモーダル変調と、動的勾配競争を利用するカスタマイズされた逆トレーニングスキームの2つのコアモジュールを導入している。 AMMNetは最先端のSSC法よりも大きなマージンで優れていた。
  論文  参考訳（メタデータ） (2024-03-12T11:48:49Z)
• Siamese Meets Diffusion Network: SMDNet for Enhanced Change Detection in High-Resolution RS Imagery [7.767708235606408]
  我々は,新しいネットワークであるSiamese-U2Net Feature Differential Meets Network (SMDNet)を提案する。 このネットワークは、画像エッジ変化検出の精度を向上させるために、Siam-U2Net Feature Differential (SU-FDE)とデノイング拡散暗黙モデルを組み合わせる。 特徴抽出モデルと拡散モデルを組み合わせることで,リモートセンシング画像における変化検出の有効性を示す。
  論文  参考訳（メタデータ） (2024-01-17T16:48:55Z)
• Semantic Change Detection with Asymmetric Siamese Networks [71.28665116793138]
  2つの空中画像が与えられた場合、セマンティックチェンジ検出は、土地被覆のバリエーションを特定し、それらの変化タイプをピクセルワイド境界で識別することを目的としている。 この問題は、正確な都市計画や天然資源管理など、多くの地球ビジョンに関連するタスクにおいて不可欠である。 本研究では, 広く異なる構造を持つモジュールから得られた特徴対を用いて意味変化を同定し, 同定するための非対称システマネットワーク(ASN)を提案する。
  論文  参考訳（メタデータ） (2020-10-12T13:26:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。