論文の概要: MOS: Mitigating Optical-SAR Modality Gap for Cross-Modal Ship Re-Identification
- arxiv url: http://arxiv.org/abs/2512.03404v1
- Date: Wed, 03 Dec 2025 03:23:19 GMT
- ステータス: 情報取得中
- システム内更新日: 2025-12-04 11:58:06.149209
- Title: MOS: Mitigating Optical-SAR Modality Gap for Cross-Modal Ship Re-Identification
- Title(参考訳): MOS: クロスモーダル船再識別のための光SARモダリティギャップの緩和
- Authors: Yujian Zhao, Hankun Liu, Guanglin Niu,
- Abstract要約: 光学・合成開口レーダ(SAR)画像間のReID(re-modal ship re-identification)は、海洋情報と監視において重要で未発見の課題として浮上している。
我々は,光-SARモダリティギャップを緩和し,光-SARクロスモーダル船ReIDのためのモダリティ-一貫性特徴学習を実現するための新しいフレームワークであるMOSを提案する。
- 参考スコア(独自算出の注目度): 7.7794453452329
- License:
- Abstract: Cross-modal ship re-identification (ReID) between optical and synthetic aperture radar (SAR) imagery has recently emerged as a critical yet underexplored task in maritime intelligence and surveillance. However, the substantial modality gap between optical and SAR images poses a major challenge for robust identification. To address this issue, we propose MOS, a novel framework designed to mitigate the optical-SAR modality gap and achieve modality-consistent feature learning for optical-SAR cross-modal ship ReID. MOS consists of two core components: (1) Modality-Consistent Representation Learning (MCRL) applies denoise SAR image procession and a class-wise modality alignment loss to align intra-identity feature distributions across modalities. (2) Cross-modal Data Generation and Feature fusion (CDGF) leverages a brownian bridge diffusion model to synthesize cross-modal samples, which are subsequently fused with original features during inference to enhance alignment and discriminability. Extensive experiments on the HOSS ReID dataset demonstrate that MOS significantly surpasses state-of-the-art methods across all evaluation protocols, achieving notable improvements of +3.0%, +6.2%, and +16.4% in R1 accuracy under the ALL to ALL, Optical to SAR, and SAR to Optical settings, respectively. The code and trained models will be released upon publication.
- Abstract(参考訳): 光学・合成開口レーダ(SAR)画像間のReID(re-modal ship re-identification)は、最近、海洋情報と監視において重要で未発見の課題として浮上した。
しかし、光学画像とSAR画像の実質的なモダリティギャップは、ロバストな識別にとって大きな課題となる。
この問題に対処するために,光-SARモダリティギャップを緩和し,光-SARクロスモーダル船ReIDのためのモダリティ一貫性のある特徴学習を実現するための新しいフレームワークであるMOSを提案する。
MOSは,(1)モダリティ・一貫性表現学習(MCRL)の2つの中核成分から構成される。
2) クロスモーダルデータ生成・特徴融合(CDGF)は, ブラウン橋拡散モデルを用いてクロスモーダルサンプルを合成し, 推論中に元の特徴と融合してアライメントと識別性を高める。
HOSS ReIDデータセットの大規模な実験により、MOSは全ての評価プロトコルで最先端の手法を大幅に上回り、光学的設定に対するALL、光学的SAR、光学的設定におけるR1精度の+3.0%、+6.2%、+16.4%の顕著な改善が達成された。
コードとトレーニングされたモデルは、公開時にリリースされる。
関連論文リスト
- Semi-supervised Multiscale Matching for SAR-Optical Image [5.25009884148204]
SAR-光画像マッチングのための半教師付きマルチスケールマッチング(S2M2-SAR)を提案する。
具体的には、未ラベルのSAR-光画像対に擬似接地構造類似性熱マップを擬似ラベル付けする。
また,モダリティ間の相互独立損失をトレーニングしたクロスモーダル機能拡張モジュールも導入した。
論文 参考訳(メタデータ) (2025-08-11T09:55:39Z) - Decoupling Multi-Contrast Super-Resolution: Pairing Unpaired Synthesis with Implicit Representations [6.255537948555454]
マルチコントラスト・スーパーリゾリューション技術は、低解像度のコントラストの品質を高めることができる。
既存のMCSRメソッドは、しばしば固定解像度の設定を前提としており、すべて大きな完全にペアのトレーニングデータセットを必要とする。
本稿では,ペア化トレーニングデータの必要性を排除し,任意のアップスケーリングをサポートするモジュール型マルチコントラスト超解法フレームワークを提案する。
論文 参考訳(メタデータ) (2025-05-09T07:48:52Z) - FUSE: Label-Free Image-Event Joint Monocular Depth Estimation via Frequency-Decoupled Alignment and Degradation-Robust Fusion [92.4205087439928]
画像強調共同深度推定法は、頑健な知覚に相補的なモダリティを利用するが、一般化可能性の課題に直面している。
自己監督型転送(PST)と周波数デカップリング型フュージョンモジュール(FreDF)を提案する。
PSTは、画像基盤モデルとの遅延空間アライメントによるクロスモーダルな知識伝達を確立し、データ不足を効果的に軽減する。
FreDFは、低周波構造成分から高周波エッジ特性を明示的に分離し、モード比周波数ミスマッチを解消する。
この組み合わせのアプローチにより、FUSEはターゲットデータセットに対する軽量デコーダ適応のみを必要とするユニバーサルなイメージイベントを構築することができる。
論文 参考訳(メタデータ) (2025-03-25T15:04:53Z) - M$^2$CD: A Unified MultiModal Framework for Optical-SAR Change Detection with Mixture of Experts and Self-Distillation [26.324664674025595]
災害応答などの極端なシナリオでは、合成開口レーダ(SAR)は、事後データの提供により適している。
これは、既存のウェイトシェアリングのSiameseネットワークが、クロスモーダルなデータ分散を学ぶのに苦労しているため、CDメソッドに新しい課題をもたらす。
この課題に対処するために,MultiModal CD フレームワーク M$2$CD を提案する。
論文 参考訳(メタデータ) (2025-03-25T07:31:53Z) - DehazeMamba: SAR-guided Optical Remote Sensing Image Dehazing with Adaptive State Space Model [27.83437788159158]
DehazeMambaはプログレッシブ・ヘイズ・デカップリング・フュージョン・ストラテジー上に構築された新規なSAR誘導脱ヘイズ・ネットワークである。
提案手法は,光-SAR差分解析によるヘイズ影響領域を動的に同定するHPDMと,特徴量評価に基づく2段階融合プロセスによるドメインシフトを緩和するプログレッシブ・フュージョン・モジュール (PFM) である。
大規模な実験により、DehazeMambaは最先端の手法を著しく上回り、PSNRの0.73dB改善と下流タスクの大幅な強化を実現している。
論文 参考訳(メタデータ) (2025-03-17T11:25:05Z) - Conditional Brownian Bridge Diffusion Model for VHR SAR to Optical Image Translation [5.578820789388206]
本文は,Brownian Bridge Diffusion Model(BBDM)に基づく条件付き画像から画像への変換手法を提案する。
我々は、MSAWデータセット、ペアSAR、0.5m Very-High-Resolution (VHR) の光学画像収集に関する総合的な実験を行った。
論文 参考訳(メタデータ) (2024-08-15T05:43:46Z) - Frequency-Assisted Mamba for Remote Sensing Image Super-Resolution [49.902047563260496]
我々は、リモートセンシング画像(RSI)の超高解像度化のために、視覚状態空間モデル(Mamba)を統合するための最初の試みを開発した。
より優れたSR再構築を実現するため,FMSRと呼ばれる周波数支援型Mambaフレームワークを考案した。
我々のFMSRは、周波数選択モジュール(FSM)、ビジョン状態空間モジュール(VSSM)、ハイブリッドゲートモジュール(HGM)を備えた多層融合アーキテクチャを備えている。
論文 参考訳(メタデータ) (2024-05-08T11:09:24Z) - Rotated Multi-Scale Interaction Network for Referring Remote Sensing Image Segmentation [63.15257949821558]
Referring Remote Sensing Image (RRSIS)は、コンピュータビジョンと自然言語処理を組み合わせた新しい課題である。
従来の参照画像(RIS)アプローチは、空中画像に見られる複雑な空間スケールと向きによって妨げられている。
本稿ではRMSIN(Rotated Multi-Scale Interaction Network)を紹介する。
論文 参考訳(メタデータ) (2023-12-19T08:14:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。