論文の概要: Combined Dictionary Unfolding Network with Gradient-Adaptive Fidelity for Transferable Multi-Source Fusion
- arxiv url: http://arxiv.org/abs/2605.00461v1
- Date: Fri, 01 May 2026 06:52:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-04 17:43:28.88566
- Title: Combined Dictionary Unfolding Network with Gradient-Adaptive Fidelity for Transferable Multi-Source Fusion
- Title(参考訳): 転送可能な多ソース核融合のためのグラディエント適応忠実度付き複合辞書展開ネットワーク
- Authors: Ge Luo, Jun-Jie Huang, Qi Yu, Tianrui Liu, Ke Liang, Yuming Xiang, Wentao Zhao, Xinwang Liu, Meng Wang,
- Abstract要約: CDNetはマルチソース画像融合のための軽量複合辞書展開ネットワークである。
マルチ露光画像融合、赤外・可視画像融合、医用画像融合、セマンティックセグメンテーションのための赤外・可視画像融合の4つの課題についてCDNetを評価する。
- 参考スコア(独自算出の注目度): 51.66903887088365
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep Unfolding Network-based methods have emerged as effective solutions for multi-source image fusion by combining model-driven iterative optimization with data-driven deep learning. However, most existing deep unfolding image fusion methods are derived from alternating minimization, which updates the features of different modalities separately. This design introduces considerable computational and memory overhead, limiting deployment on resource-constrained edge devices. To address this issue, we propose CDNet, a lightweight Combined Dictionary Unfolding Network for multi-source image fusion. Rather than introducing a new sparse coding prior or empirically compressing an existing fusion network, CDNet translates the unique-common decomposition prior of coupled dictionary learning into a structurally constrained joint unfolding architecture. The resulting CDBlock follows a block-sparse interaction topology and performs a model-derived joint update of common and modality-specific representations, thereby streamlining feature learning and improving efficiency.In addition, we design a compact High- and Low-frequency Image Fidelity loss for unsupervised training without ground-truth images. We evaluate CDNet on four tasks, including multi-exposure image fusion, infrared and visible image fusion, medical image fusion, and infrared and visible image fusion for semantic segmentation. Experimental results show that CDNet achieves competitive or superior fusion performance with high efficiency. For infrared and visible image fusion, CDNet outperforms competing methods on four of six metrics on the TNO dataset and five of six metrics on the RoadScene dataset. In particular, it surpasses the second-best method by 1.23 dB and 1.59 dB in PSNR on TNO and RoadScene, respectively.
- Abstract(参考訳): Deep Unfolding Networkベースの手法は、モデル駆動の反復最適化とデータ駆動のディープラーニングを組み合わせることで、マルチソース画像融合の効果的なソリューションとして登場した。
しかし、既存のディープ展開画像融合法のほとんどは、異なるモードの特徴を別々に更新する交互化最小化法に由来する。
この設計では、計算とメモリのオーバーヘッドが大幅に増加し、リソース制約のあるエッジデバイスへのデプロイメントが制限される。
この問題に対処するため,マルチソース画像融合のための軽量複合辞書展開ネットワークCDNetを提案する。
既存の核融合ネットワークを事前にあるいは経験的に圧縮する新しいスパースコーディングを導入する代わりに、CDNetは結合辞書学習に先立って、一意の分解を構造的に制約された結合展開アーキテクチャに変換する。
得られたCDBlockは,ブロックスパース相互作用トポロジに従って,共通表現とモダリティ表現のモデルによる共同更新を行い,特徴学習の合理化と効率の向上を実現した。
マルチ露光画像融合、赤外・可視画像融合、医用画像融合、セマンティックセグメンテーションのための赤外・可視画像融合の4つの課題についてCDNetを評価する。
実験の結果, CDNetは高い効率で高い核融合性能を達成できることがわかった。
赤外線と可視画像の融合では、CDNetはTNOデータセットで6つのメトリクスのうち4つ、RoadSceneデータセットで6つのメトリクスのうち5つで競合する手法を上回っている。
特に、TNOおよびRoadScene上のPSNRでは、それぞれ1.23dBと1.59dBの2番目に高い方法を上回っている。
関連論文リスト
- Towards Unified Semantic and Controllable Image Fusion: A Diffusion Transformer Approach [99.80480649258557]
DiTFuseは命令駆動のフレームワークで、単一のモデル内でセマンティクスを意識した融合を実行する。
パブリックなIVIF、MFF、MEFベンチマークの実験では、より優れた量的および質的な性能、よりシャープなテクスチャ、より優れたセマンティック保持が確認されている。
論文 参考訳(メタデータ) (2025-12-08T05:04:54Z) - FS-Diff: Semantic guidance and clarity-aware simultaneous multimodal image fusion and super-resolution [19.183004285219184]
軍事偵察や長距離検知といった現実世界の応用では、マルチモーダル画像のターゲット構造と背景構造が容易に破損する。
FS-Diff, 意味指導, 明快な関節画像融合および超解像法を提案する。
論文 参考訳(メタデータ) (2025-09-11T13:10:22Z) - l0-Regularized Sparse Coding-based Interpretable Network for Multi-Modal Image Fusion [9.671347245207121]
MMIF (Multi-modal Image fusion) は融合画像の情報量を増加させる。
我々は,l0正規化マルチモーダル畳み込みスパース符号化(MCSC)モデルに基づくMMIFタスクの解釈可能なFNetを提案する。
実験により、FNetは5つの異なるMMIFタスク間で高品質な融合結果が得られることが示された。
論文 参考訳(メタデータ) (2024-11-07T08:20:29Z) - Mutual-Guided Dynamic Network for Image Fusion [51.615598671899335]
画像融合のための新しい相互誘導動的ネットワーク(MGDN)を提案する。
5つのベンチマークデータセットによる実験結果から,提案手法は4つの画像融合タスクにおいて既存手法よりも優れていることが示された。
論文 参考訳(メタデータ) (2023-08-24T03:50:37Z) - LRRNet: A Novel Representation Learning Guided Fusion Network for
Infrared and Visible Images [98.36300655482196]
我々は,融合タスクを数学的に定式化し,その最適解とそれを実装可能なネットワークアーキテクチャとの接続を確立する。
特に、融合タスクに学習可能な表現アプローチを採用し、融合ネットワークアーキテクチャの構築は学習可能なモデルを生成する最適化アルゴリズムによって導かれる。
この新しいネットワークアーキテクチャに基づいて、赤外線および可視光画像を融合するために、エンドツーエンドの軽量核融合ネットワークを構築する。
論文 参考訳(メタデータ) (2023-04-11T12:11:23Z) - CDDFuse: Correlation-Driven Dual-Branch Feature Decomposition for
Multi-Modality Image Fusion [138.40422469153145]
本稿では,CDDFuse(Relationed-Driven Feature Decomposition Fusion)ネットワークを提案する。
近赤外可視画像融合や医用画像融合など,複数の融合タスクにおいてCDDFuseが有望な結果をもたらすことを示す。
論文 参考訳(メタデータ) (2022-11-26T02:40:28Z) - Deep Convolutional Sparse Coding Networks for Image Fusion [29.405149234582623]
深層学習は画像融合の重要なツールとして登場した。
本稿では,3種類の画像融合タスクのための3種類の深部畳み込みスパース符号化(CSC)ネットワークを提案する。
論文 参考訳(メタデータ) (2020-05-18T04:12:01Z) - Efficient and Model-Based Infrared and Visible Image Fusion Via
Algorithm Unrolling [24.83209572888164]
赤外線および可視画像融合(IVIF)は、赤外線画像からの熱放射情報を保持する画像と、可視画像からテクスチャの詳細を取得することを期待している。
従来のCNNベースのIVIFモデルの欠点を克服するために,モデルベース畳み込みニューラルネットワーク(CNN)モデルを提案する。
論文 参考訳(メタデータ) (2020-05-12T16:15:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。