論文の概要: Deep Unfolding Multi-modal Image Fusion Network via Attribution Analysis
- arxiv url: http://arxiv.org/abs/2502.01467v1
- Date: Mon, 03 Feb 2025 16:00:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-05 14:59:17.964161
- Title: Deep Unfolding Multi-modal Image Fusion Network via Attribution Analysis
- Title（参考訳）: 属性解析によるマルチモーダル画像融合ネットワークの深部展開
- Authors: Haowen Bai, Zixiang Zhao, Jiangshe Zhang, Baisong Jiang, Lilun Deng, Yukun Cui, Shuang Xu, Chunxia Zhang,
- Abstract要約: セマンティックセグメンテーションのために、より効率的に融合画像を調整するための「Unfolding Analysis Fusion Network」 (UAAFusion) を提案する。
帰属分析技術を用いて,課題識別のためのソース画像中の意味領域の寄与を探索する。
提案手法は,帰属分析から導かれる最適化目的を用いたモデル駆動型展開ネットワークを構築する。
- 参考スコア（独自算出の注目度）: 16.6226059346127
- License:
- Abstract: Multi-modal image fusion synthesizes information from multiple sources into a single image, facilitating downstream tasks such as semantic segmentation. Current approaches primarily focus on acquiring informative fusion images at the visual display stratum through intricate mappings. Although some approaches attempt to jointly optimize image fusion and downstream tasks, these efforts often lack direct guidance or interaction, serving only to assist with a predefined fusion loss. To address this, we propose an ``Unfolding Attribution Analysis Fusion network'' (UAAFusion), using attribution analysis to tailor fused images more effectively for semantic segmentation, enhancing the interaction between the fusion and segmentation. Specifically, we utilize attribution analysis techniques to explore the contributions of semantic regions in the source images to task discrimination. At the same time, our fusion algorithm incorporates more beneficial features from the source images, thereby allowing the segmentation to guide the fusion process. Our method constructs a model-driven unfolding network that uses optimization objectives derived from attribution analysis, with an attribution fusion loss calculated from the current state of the segmentation network. We also develop a new pathway function for attribution analysis, specifically tailored to the fusion tasks in our unfolding network. An attribution attention mechanism is integrated at each network stage, allowing the fusion network to prioritize areas and pixels crucial for high-level recognition tasks. Additionally, to mitigate the information loss in traditional unfolding networks, a memory augmentation module is incorporated into our network to improve the information flow across various network layers. Extensive experiments demonstrate our method's superiority in image fusion and applicability to semantic segmentation.
- Abstract（参考訳）: マルチモーダル画像融合は、複数のソースからの情報を単一のイメージに合成し、セマンティックセグメンテーションのような下流タスクを容易にする。
現在のアプローチは主に、複雑なマッピングを通して視覚表示層における情報融合画像を取得することに焦点を当てている。
画像融合と下流タスクを共同で最適化しようとするアプローチもあるが、これらの取り組みは直接誘導や相互作用を欠くことが多く、事前に定義された融合損失を補助するだけである。
そこで我々は, 意味的セグメンテーションのために, より効率的に融合画像の調整を行うために, 帰属解析を用いた 'Unfolding Attribution Analysis Fusion Network' (UAAFusion)' を提案する。
具体的には、属性分析技術を用いて、ソース画像中の意味領域のタスク識別への寄与を探索する。
同時に、我々の融合アルゴリズムは、ソース画像からより有益な特徴を取り入れ、セグメンテーションが融合プロセスの導出を可能にする。
本手法は, 帰属解析から導かれる最適化目標を, 分割ネットワークの現在の状態から算出した帰属融合損失を用いて, モデル駆動型展開ネットワークを構築する。
また,展開ネットワークの融合タスクに特化して,帰属解析のための新しい経路関数も開発した。
帰属注意機構は、各ネットワーク段階で統合され、融合ネットワークは、ハイレベルな認識タスクに不可欠な領域や画素を優先することができる。
さらに,従来の展開ネットワークにおける情報損失を軽減するため,メモリ拡張モジュールをネットワークに組み込んで各種ネットワーク層間の情報フローを改善する。
画像融合における本手法の優位性とセマンティックセグメンテーションへの適用性について検討した。
関連論文リスト
- Rethinking Normalization Strategies and Convolutional Kernels for Multimodal Image Fusion [25.140475569677758]
マルチモーダル画像融合は、様々なモーダルからの情報を総合的な画像を得るために統合することを目的としている。
既存の手法では、自然画像の融合を優先し、情報補完とネットワークトレーニング戦略に重点を置く傾向にある。
本稿では,融合目標,統計特性,およびデータ分布に関する2つの課題の有意な差異を論じる。
論文 参考訳（メタデータ） (2024-11-15T08:36:24Z) - From Text to Pixels: A Context-Aware Semantic Synergy Solution for
Infrared and Visible Image Fusion [66.33467192279514]
我々は、テキスト記述から高レベルなセマンティクスを活用し、赤外線と可視画像のセマンティクスを統合するテキスト誘導多モード画像融合法を提案する。
本手法は,視覚的に優れた融合結果を生成するだけでなく,既存の手法よりも高い検出mAPを達成し,最先端の結果を得る。
論文 参考訳（メタデータ） (2023-12-31T08:13:47Z) - Multi-interactive Feature Learning and a Full-time Multi-modality
Benchmark for Image Fusion and Segmentation [66.15246197473897]
多モード画像融合とセグメンテーションは、自律走行とロボット操作において重要な役割を果たす。
画像融合とtextbfSegmentation のための textbfMulti-textbfinteractive textbfFeature Learning アーキテクチャを提案する。
論文 参考訳（メタデータ） (2023-08-04T01:03:58Z) - A Task-guided, Implicitly-searched and Meta-initialized Deep Model for
Image Fusion [69.10255211811007]
本稿では,課題の多い現実シナリオにおいて,画像融合問題に対処するためのタスク誘導,インプリシト検索,メタ一般化(TIM)深層モデルを提案する。
具体的には、画像融合の教師なし学習プロセスを導くために、下流タスクからの情報を組み込む制約付き戦略を提案する。
このフレームワーク内に暗黙の探索スキームを設計し、高速な融合モデルのためのコンパクトなアーキテクチャを自動で発見する。
論文 参考訳（メタデータ） (2023-05-25T08:54:08Z) - An Interactively Reinforced Paradigm for Joint Infrared-Visible Image
Fusion and Saliency Object Detection [59.02821429555375]
この研究は、野生の隠れた物体の発見と位置決めに焦点をあて、無人のシステムに役立てる。
経験的分析により、赤外線と可視画像融合(IVIF)は、難しい物体の発見を可能にする。
マルチモーダル・サリエント・オブジェクト検出(SOD)は、画像内の物体の正確な空間的位置を正確に記述する。
論文 参考訳（メタデータ） (2023-05-17T06:48:35Z) - LRRNet: A Novel Representation Learning Guided Fusion Network for
Infrared and Visible Images [98.36300655482196]
我々は,融合タスクを数学的に定式化し,その最適解とそれを実装可能なネットワークアーキテクチャとの接続を確立する。
特に、融合タスクに学習可能な表現アプローチを採用し、融合ネットワークアーキテクチャの構築は学習可能なモデルを生成する最適化アルゴリズムによって導かれる。
この新しいネットワークアーキテクチャに基づいて、赤外線および可視光画像を融合するために、エンドツーエンドの軽量核融合ネットワークを構築する。
論文 参考訳（メタデータ） (2023-04-11T12:11:23Z) - CoCoNet: Coupled Contrastive Learning Network with Multi-level Feature Ensemble for Multi-modality Image Fusion [68.78897015832113]
我々は、赤外線と可視画像の融合を実現するために、CoCoNetと呼ばれるコントラスト学習ネットワークを提案する。
本手法は,主観的評価と客観的評価の両面において,最先端(SOTA)性能を実現する。
論文 参考訳（メタデータ） (2022-11-20T12:02:07Z) - Unsupervised Image Fusion Method based on Feature Mutual Mapping [16.64607158983448]
上記の問題に対処するために,教師なし適応画像融合法を提案する。
入力元画像間の画素の接続を計測するグローバルマップを構築した。
本手法は視覚的知覚と客観的評価の両方において優れた性能を実現する。
論文 参考訳（メタデータ） (2022-01-25T07:50:14Z) - TransFuse: A Unified Transformer-based Image Fusion Framework using
Self-supervised Learning [5.849513679510834]
画像融合(英: Image fusion)とは、複数のソース画像からの情報を補完情報と統合し、単一の画像の豊かさを改善する技術である。
2段階の手法では、大規模な自然言語データセット上でエンコーダ・デコーダネットワークをトレーニングすることで、タスク固有の大量のトレーニングデータの必要性を回避する。
本稿では, ネットワークがタスク固有の特徴を学習することを奨励する, 破壊再構成に基づく自己指導型学習手法を提案する。
論文 参考訳（メタデータ） (2022-01-19T07:30:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。