論文の概要: Multi-modality Image Fusion under Adverse Weather: Mask-Guided Feature Restoration and Interaction
- arxiv url: http://arxiv.org/abs/2606.26812v1
- Date: Thu, 25 Jun 2026 09:54:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-26 18:46:32.230672
- Title: Multi-modality Image Fusion under Adverse Weather: Mask-Guided Feature Restoration and Interaction
- Title（参考訳）: 逆気象下における多モード画像融合:マスクガイドによる特徴回復と相互作用
- Abstract要約: 逆の天候は画像の劣化を引き起こし、特徴表現を乱す。
本稿では,機能回復とインタラクションを統合したマスク誘導型MMIF法を提案する。
我々の手法は、視覚的品質、量的メトリクス、下流タスクにおける最先端のアプローチを超越している。
- 参考スコア（独自算出の注目度）: 21.45273679723765
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-modality image fusion (MMIF) enhances scene representation by exploiting complementary cues from different modalities. Adverse weather, however, causes significant image degradation, disrupting feature representation and requiring simultaneous feature restoration and cross-modal complementarity. Existing methods often struggle with effective representation learning under such conditions, limiting their practical performance. To address these challenges, we propose a mask-guided MMIF method that integrates feature restoration and interaction. We first introduce "Pseudo Ground Truth" to simplify training, promoting faster and more effective feature learning. Then, we design a mask generation mechanism based on the mapping relationship between the fused result and the source images, quantifying the relative contribution of each modality during the fusion process. By incorporating the proposed mask-guided cross-modal cross-attention mechanism, the network is encouraged to selectively attend to informative features during modality interaction, mitigating the risk of overfitting to the static distribution of the "Pseudo Ground Truth". Additionally, we propose a mask-guided learning strategy and a task-coupled degradation-aware learning strategy to balance feature restoration and interaction. Extensive experiments on synthetic and real-world datasets demonstrate that our method surpasses state-of-the-art approaches in visual quality, quantitative metrics, and downstream tasks. The source code is available at https://github.com/ixilai/AMG-Fuse.
- Abstract（参考訳）: MMIF(Multi-modality Image fusion)は、異なるモダリティから補完的手がかりを活用することでシーン表現を強化する。
しかし、逆の天候は、画像の劣化、特徴表現の破壊、同時的な特徴回復と相互の相補性を必要とする。
既存の手法はしばしばそのような条件下で効果的な表現学習に苦しむ。
これらの課題に対処するために,機能回復とインタラクションを統合したマスク誘導型MMIF法を提案する。
まず,Pseudo Ground Truthを導入し,学習を簡素化し,より速く,より効果的な機能学習を促進する。
そして、融合過程における各モードの相対的寄与を定量化し、融合結果とソース画像とのマッピング関係に基づいてマスク生成機構を設計する。
提案したマスク誘導型クロスモーダル・クロスアテンション機構を組み込むことにより,モータリティ相互作用における情報的特徴への選択的参加を奨励し,「擬似地盤真実」の静的分布に過度に適合するリスクを軽減した。
さらに,機能回復と相互作用のバランスをとるために,マスク誘導型学習戦略とタスク結合型劣化認識学習戦略を提案する。
合成および実世界のデータセットに関する大規模な実験は、我々の手法が視覚的品質、定量的メトリクス、下流タスクにおける最先端のアプローチを超えることを示した。
ソースコードはhttps://github.com/ixilai/AMG-Fuse.comで入手できる。
関連論文リスト
- FMRFusion: Frequency-Aware Multi-View Representation Learning for Heterogeneous Image Fusion [22.180711075004538]
FMRFusionは異種画像融合のための周波数認識型表現学習ネットワークである。
識別構造を捉えるために, マルチスケール構造トラヒック認識モジュールが導入された。
クロスビュー補間相互作用を具体化し、反射光情報と放射強度応答の相補的特性を明示的にモデル化し、融合させる。
論文 参考訳（メタデータ） (2026-06-06T05:23:06Z) - CtrlFuse: Mask-Prompt Guided Controllable Infrared and Visible Image Fusion [51.060328159429154]
赤外線と可視画像の融合は、相補的なモダリティを組み合わせることで、全天候の知覚可能な画像を生成する。
我々は,マスクプロンプトによって誘導されるインタラクティブな動的融合を可能にする,制御可能な画像融合フレームワークであるCtrlFuseを提案する。
実験では、融合制御性とセグメンテーション精度の両立を実証し、適応されたタスク分岐は元のセグメンテーションモデルよりも優れていた。
論文 参考訳（メタデータ） (2026-01-12T13:36:48Z) - MMMamba: A Versatile Cross-Modal In Context Fusion Framework for Pan-Sharpening and Zero-Shot Image Enhancement [29.94979992704961]
パンシャーピングは高分解能マルチスペクトル(HRMS)画像の生成を目的として,高分解能パンクロマティック(PAN)画像とそれに対応する低分解能マルチスペクトル(MS)画像を統合する。
従来のCNNベースの手法は、チャネルワイズと固定畳み込み演算子との結合に依存している。
パンシャーピングのためのクロスモーダルなインコンテキスト融合フレームワークであるMMMambaを提案する。
論文 参考訳（メタデータ） (2025-12-17T10:07:09Z) - Towards Unified Semantic and Controllable Image Fusion: A Diffusion Transformer Approach [99.80480649258557]
DiTFuseは命令駆動のフレームワークで、単一のモデル内でセマンティクスを意識した融合を実行する。
パブリックなIVIF、MFF、MEFベンチマークの実験では、より優れた量的および質的な性能、よりシャープなテクスチャ、より優れたセマンティック保持が確認されている。
論文 参考訳（メタデータ） (2025-12-08T05:04:54Z) - Multivariate Diffusion Transformer with Decoupled Attention for High-Fidelity Mask-Text Collaborative Facial Generation [33.45651294176388]
MDiTFaceは、セマンティックマスクとテキスト入力を処理するために統一トークン化戦略を利用する、カスタマイズされた拡散トランスフォーマーフレームワークである。
大規模な実験により、MDiTFaceは顔の忠実度と条件整合性の両方において、競合する他の手法よりも大幅に優れていた。
論文 参考訳（メタデータ） (2025-11-16T14:52:54Z) - InfMasking: Unleashing Synergistic Information by Contrastive Multimodal Interactions [66.45467539731288]
マルチモーダル表現において、モダリティ間の相乗的相互作用は相補的な情報を提供し、ユニークな結果を生み出す。
既存の手法は、シナジスティックな情報の完全なスペクトルを捉えるのに苦労し、そのような相互作用が重要となるタスクにおいて、最適以下のパフォーマンスをもたらす。
Infinite Masking 戦略によって相乗的情報を強化するために設計された対照的な相乗的情報抽出手法である InfMasking を紹介する。
論文 参考訳（メタデータ） (2025-09-28T09:31:59Z) - Efficient Rectified Flow for Image Fusion [48.330480065862474]
本稿では,画像融合のための1ステップの効率的な拡散モデルであるRFfusionを提案する。
また,画像融合に適したタスク固有の変分オートエンコーダアーキテクチャを提案する。
提案手法は,推算速度と融合品質の両方の観点から,他の最先端手法よりも優れている。
論文 参考訳（メタデータ） (2025-09-20T06:21:00Z) - MMAR: Towards Lossless Multi-Modal Auto-Regressive Probabilistic Modeling [64.09238330331195]
本稿では,MMAR(Multi-Modal Auto-Regressive)確率モデルフレームワークを提案する。
離散化の手法とは異なり、MMARは情報損失を効率的に回避するために、連続的に評価された画像トークンを取り入れている。
また,数値安定性問題に対処する理論的に実証された手法と,タスク目標の生成と理解のバランスをとるトレーニング戦略を提案する。
論文 参考訳（メタデータ） (2024-10-14T17:57:18Z) - Equivariant Multi-Modality Image Fusion [124.11300001864579]
エンドツーエンドの自己教師型学習のための同変多モードImAge融合パラダイムを提案する。
我々のアプローチは、自然画像応答が特定の変換に等しくなるという以前の知識に根ざしている。
実験により、EMMAは赤外線可視画像と医用画像に高品質な融合結果をもたらすことが確認された。
論文 参考訳（メタデータ） (2023-05-19T05:50:24Z) - Multi-scale Transformer Network with Edge-aware Pre-training for
Cross-Modality MR Image Synthesis [52.41439725865149]
クロスモダリティ磁気共鳴(MR)画像合成は、与えられたモダリティから欠落するモダリティを生成するために用いられる。
既存の(教師付き学習)手法は、効果的な合成モデルを訓練するために、多くのペア化されたマルチモーダルデータを必要とすることが多い。
マルチスケールトランスフォーマーネットワーク(MT-Net)を提案する。
論文 参考訳（メタデータ） (2022-12-02T11:40:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。