論文の概要: CAWM-Mamba: A unified model for infrared-visible image fusion and compound adverse weather restoration

• arxiv url: http://arxiv.org/abs/2603.02560v1
• Date: Tue, 03 Mar 2026 03:27:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-04 21:38:10.621235
• Title: CAWM-Mamba: A unified model for infrared-visible image fusion and compound adverse weather restoration
• Title（参考訳）: CAWM-Mamba:赤外線可視画像融合と複合悪天候回復のための統合モデル
• Authors: Huichun Liu, Xiaosong Li, Zhuangfan Huang, Tao Ye, Yang Liu, Haishu Tan,
• Abstract要約: MMIF(Multimodal Image Fusion)は、様々なモダリティからの補完情報を統合して、より明瞭で情報に富んだ画像を生成する。 既存の悪天候融合法は、ヘイズ、雨、雪などの単一タイプの劣化に対処し、複数の劣化が共存すると失敗する。 本稿では,画像融合と複合気象復元を共同で行う最初のエンドツーエンドフレームワークである複合逆気象マンバを提案する。
• 参考スコア（独自算出の注目度）: 8.400835004298624
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal Image Fusion (MMIF) integrates complementary information from various modalities to produce clearer and more informative fused images. MMIF under adverse weather is particularly crucial in autonomous driving and UAV monitoring applications. However, existing adverse weather fusion methods generally only tackle single types of degradation such as haze, rain, or snow, and fail when multiple degradations coexist (e.g., haze+rain, rain+snow). To address this challenge, we propose Compound Adverse Weather Mamba (CAWM-Mamba), the first end-to-end framework that jointly performs image fusion and compound weather restoration with unified shared weights. Our network contains three key components: (1) a Weather-Aware Preprocess Module (WAPM) to enhance degraded visible features and extracts global weather embeddings; (2) a Cross-modal Feature Interaction Module (CFIM) to facilitate the alignment of heterogeneous modalities and exchange of complementary features across modalities; and (3) a Wavelet Space State Block (WSSB) that leverages wavelet-domain decomposition to decouple multi-frequency degradations. WSSB includes Freq-SSM, a module that models anisotropic high-frequency degradation without redundancy, and a unified degradation representation mechanism to further improve generalization across complex compound weather conditions. Extensive experiments on the AWMM-100K benchmark and three standard fusion datasets demonstrate that CAWM-Mamba consistently outperforms state-of-the-art methods in both compound and single-weather scenarios. In addition, our fusion results excel in downstream tasks covering semantic segmentation and object detection, confirming the practical value in real-world adverse weather perception. The source code will be available at https://github.com/Feecuin/CAWM-Mamba.
• Abstract（参考訳）: MMIF(Multimodal Image Fusion)は、様々なモダリティからの補完情報を統合して、より明瞭で情報に富んだ画像を生成する。 悪天候下でのMMIFは、特に自律運転およびUAV監視アプリケーションにおいて重要である。 しかし、既存の悪天候融合法は、一般的には、ヘイズ、雨、雪のような単一タイプの劣化に対処し、複数の劣化が共存する場合(例えば、ヘイズ+レイン、レイン+スノウ)に失敗する。 この課題に対処するために,画像融合と複合気象復元を共同で行う最初のエンドツーエンドフレームワークである複合逆気象マンバ(CAWM-Mamba)を提案する。 ネットワークには,(1)劣化した可視性を高め,グローバルな気象を埋め込むWAPM(Weather-Aware Preprocess Module),(2)不均一なモダリティの整合と相補的な特徴の交換を容易にするCFIM(Cross-Modal Feature Interaction Module),(3)ウェーブレットドメイン分解を利用したマルチ周波数劣化の分離を行うWSSB(Wavelet Space State Block)の3つの重要なコンポーネントが含まれている。 WSSBには、冗長性のない異方性高周波劣化をモデル化するモジュールであるFreq-SSMと、複雑な複合気象条件における一般化をさらに改善するための統合された劣化表現機構が含まれている。 AWMM-100Kベンチマークと3つの標準核融合データセットの大規模な実験により、CAWM-Mambaは複合と単一兵器の両方のシナリオにおいて、最先端の手法を一貫して上回っていることが示された。 さらに, 現実の悪天候認識における実用的価値を確認するために, セマンティックセグメンテーションとオブジェクト検出を対象とする下流タスクにおいて, 融合結果が優れている。 ソースコードはhttps://github.com/Feecuin/CAWM-Mamba.comで入手できる。

関連論文リスト

• Semantics and Content Matter: Towards Multi-Prior Hierarchical Mamba for Image Deraining [95.00432497331583]
  画像デライニングのためのマルチPrior Hierarchical Mamba (MPHM) ネットワーク MPHMは、タスクレベルのセマンティックガイダンスのためのマクロセマンティックテキスト先行(CLIP)と、シーン認識構造情報のためのマイクロ構造視覚先行(DINOv2)を統合している。 実験ではMPHMの最先端のパフォーマンスを実証し、Rain200Hデータセットで0.57dBのPSNRゲインを達成した。
  論文  参考訳（メタデータ） (2025-11-17T08:08:59Z)
• MdaIF: Robust One-Stop Multi-Degradation-Aware Image Fusion with Language-Driven Semantics [8.783211177601045]
  赤外線と可視画像の融合は、相補的なマルチモーダル情報を単一の融合結果に統合することを目的としている。 大規模言語モデル(MdaIF)により駆動される多段劣化シナリオのためのワンストップ劣化認識画像融合フレームワークを提案する。 気象に配慮した多様な劣化知識とシーン特徴表現を適応的に抽出するために,我々は,事前学習された視覚言語モデル(VLM)をフレームワークに採用する。
  論文  参考訳（メタデータ） (2025-11-16T09:43:12Z)
• Spatial-Frequency Enhanced Mamba for Multi-Modal Image Fusion [64.5037956060757]
  MMIF (Multi-Modal Image Fusion) は、様々なモダリティから補完的な画像情報を統合することを目的としている。 本研究では,MMIFのための空間周波数拡張マンバ融合(SFMFusion)という新しいフレームワークを提案する。 提案手法は,6つのMMIFデータセット上での最先端手法よりも優れた結果が得られる。
  論文  参考訳（メタデータ） (2025-11-10T00:44:49Z)
• CMAWRNet: Multiple Adverse Weather Removal via a Unified Quaternion Neural Architecture [2.2124180701409233]
  画像やビデオ検索、屋外監視、自動運転といった現実世界のアプリケーションで使用される画像は、悪天候に悩まされている。 この研究は、CMAWRNetと呼ばれる統合四元数ニューラルネットワークを用いて、複数の悪天候除去のための効率的なソリューションを開発することに焦点を当てている。 これは、新しいテクスチャ構造分解ブロック、新しい軽量エンコーダ・デコーダ四元変圧器アーキテクチャ、低光補正の減衰融合ブロックに基づいている。
  論文  参考訳（メタデータ） (2025-05-03T18:02:19Z)
• FUSE: Label-Free Image-Event Joint Monocular Depth Estimation via Frequency-Decoupled Alignment and Degradation-Robust Fusion [92.4205087439928]
  画像強調共同深度推定法は、頑健な知覚に相補的なモダリティを利用するが、一般化可能性の課題に直面している。 自己監督型転送(PST)と周波数デカップリング型フュージョンモジュール(FreDF)を提案する。 PSTは、画像基盤モデルとの遅延空間アライメントによるクロスモーダルな知識伝達を確立し、データ不足を効果的に軽減する。 FreDFは、低周波構造成分から高周波エッジ特性を明示的に分離し、モード比周波数ミスマッチを解消する。 この組み合わせのアプローチにより、FUSEはターゲットデータセットに対する軽量デコーダ適応のみを必要とするユニバーサルなイメージイベントを構築することができる。
  論文  参考訳（メタデータ） (2025-03-25T15:04:53Z)
• Divide-and-Conquer: Confluent Triple-Flow Network for RGB-T Salient Object Detection [70.84835546732738]
  RGB-Thermal Salient Object Detectionは、目視と熱赤外画像のペア内の目立つ物体をピンポイントすることを目的としている。 従来のエンコーダ・デコーダアーキテクチャは、欠陥モードから生じるノイズに対する頑健さを十分に考慮していなかったかもしれない。 本稿では,Divide-and-Conquer戦略を用いた,堅牢なConfluent Triple-Flow NetworkであるConTriNetを提案する。
  論文  参考訳（メタデータ） (2024-12-02T14:44:39Z)
• CFMW: Cross-modality Fusion Mamba for Robust Object Detection under Adverse Weather [15.472015859766069]
  気象条件下での安定性と費用対効果を高めるため,CFMWを用いたクロスモダリティ・フュージョン・マンバを提案する。 CFMWは、悪天候による視覚的特徴を再構築することができ、画像の詳細を表現できる。 関連するデータセットのギャップを埋めるため、Severre Weather Visible-Infrared(SWVI)データセットを構築した。
  論文  参考訳（メタデータ） (2024-04-25T02:54:11Z)
• All-weather Multi-Modality Image Fusion: Unified Framework and 100k Benchmark [42.49073228252726]
  MMIF(Multi-modality Image fusion)は、異なる画像モダリティからの相補的な情報を組み合わせて、より包括的で客観的なシーン解釈を提供する。 既存のMMIF法では、現実の場面で異なる気象干渉に抵抗する能力が欠如しており、自律運転のような実践的な応用では利用できない。 この文脈で効率的なマルチタスクを実現するために,全天候MMIFモデルを提案する。 実世界の場面と合成シーンの両方における実験結果から,提案アルゴリズムは細部回復と多モード特徴抽出に優れることが示された。
  論文  参考訳（メタデータ） (2024-02-03T09:02:46Z)
• Mutual Information-driven Triple Interaction Network for Efficient Image Dehazing [54.168567276280505]
  画像デハージングのための相互情報駆動型トリプルインタラクションネットワーク(MITNet)を提案する。 振幅誘導ヘイズ除去と呼ばれる第1段階は、ヘイズ除去のためのヘイズ画像の振幅スペクトルを復元することを目的としている。 第2段階は位相誘導構造が洗練され、位相スペクトルの変換と微細化を学ぶことに尽力した。
  論文  参考訳（メタデータ） (2023-08-14T08:23:58Z)
• CDDFuse: Correlation-Driven Dual-Branch Feature Decomposition for Multi-Modality Image Fusion [138.40422469153145]
  本稿では,CDDFuse(Relationed-Driven Feature Decomposition Fusion)ネットワークを提案する。 近赤外可視画像融合や医用画像融合など,複数の融合タスクにおいてCDDFuseが有望な結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-11-26T02:40:28Z)
• Pay "Attention" to Adverse Weather: Weather-aware Attention-based Object Detection [5.816506391882502]
  本稿では,マルチモーダルセンシングストリームを適応的に融合させるGLA(Global-Local Attention)フレームワークを提案する。 具体的には、GLAは、ローカルアテンションネットワークを介してアーリーステージフュージョンと、グローバルアテンションネットワークを介してレイトステージフュージョンを統合し、ローカル情報とグローバル情報の両方を扱う。 実験により, 提案したGLAの性能は, 最先端核融合法と比較して優れていた。
  論文  参考訳（メタデータ） (2022-04-22T16:32:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。