論文の概要: ReFusion: Learning Image Fusion from Reconstruction with Learnable Loss
via Meta-Learning
- arxiv url: http://arxiv.org/abs/2312.07943v2
- Date: Mon, 11 Mar 2024 07:25:26 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-13 15:00:51.981184
- Title: ReFusion: Learning Image Fusion from Reconstruction with Learnable Loss
via Meta-Learning
- Title（参考訳）: リフュージョン:メタラーニングを通して学習可能な損失を伴う再構成から画像融合を学ぶ
- Authors: Haowen Bai, Zixiang Zhao, Jiangshe Zhang, Yichen Wu, Lilun Deng, Yukun
Cui, Shuang Xu, Baisong Jiang
- Abstract要約: メタラーニングに基づく統合画像融合フレームワークReFusionを導入する。
ReFusionはパラメータ化された損失関数を採用し、特定のシナリオとタスクに応じてトレーニングフレームワークによって動的に調整される。
赤外線可視、医療、マルチフォーカス、マルチ露光画像融合など、様々なタスクに適応することができる。
- 参考スコア（独自算出の注目度）: 17.91346343984845
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Image fusion aims to combine information from multiple source images into a
single one with more comprehensive informational content. The significant
challenges for deep learning-based image fusion algorithms are the lack of a
definitive ground truth as well as the corresponding distance measurement, with
current manually given loss functions constrain the flexibility of model and
generalizability for unified fusion tasks. To overcome these limitations, we
introduce a unified image fusion framework based on meta-learning, named
ReFusion, which provides a learning paradigm that obtains the optimal fusion
loss for various fusion tasks based on reconstructing the source images.
Compared to existing methods, ReFusion employs a parameterized loss function,
dynamically adjusted by the training framework according to the specific
scenario and task. ReFusion is constituted by three components: a fusion
module, a loss proposal module, and a source reconstruction module. To ensure
the fusion module maximally preserves the information from the source images,
enabling the reconstruction of the source images from the fused image, we adopt
a meta-learning strategy to train the loss proposal module using reconstruction
loss. The update of the fusion module relies on the fusion loss proposed by the
loss proposal module. The alternating updates of the three modules mutually
facilitate each other, aiming to propose an appropriate fusion loss for
different tasks and yield satisfactory fusion results. Extensive experiments
demonstrate that ReFusion is capable of adapting to various tasks, including
infrared-visible, medical, multi-focus, and multi-exposure image fusion. The
code will be released.
- Abstract（参考訳）: Image fusionは、複数のソースイメージからの情報と、より包括的な情報コンテンツを組み合わせることを目的としている。
ディープラーニングに基づくイメージ融合アルゴリズムの重要な課題は、決定的な基礎的真理の欠如と、それに対応する距離測定であり、現在の手動で与えられた損失関数は、統一融合タスクのモデルの柔軟性と一般化性を制約している。
これらの制約を克服するために,メタラーニングに基づく統合画像融合フレームワークReFusionを導入し,ソースコードの再構成に基づく様々な融合タスクに対する最適な融合損失を求める学習パラダイムを提供する。
既存の手法と比較して、ReFusionはパラメータ化された損失関数を採用し、特定のシナリオとタスクに応じてトレーニングフレームワークによって動的に調整される。
ReFusionは、融合モジュール、損失提案モジュール、ソース再構築モジュールの3つのコンポーネントで構成されている。
融合モジュールがソース画像からの情報を最大限に保存し、融合画像からのソース画像の再構成を可能にするために、再構成損失を用いた損失提案モジュールのトレーニングを行うメタラーニング戦略を採用する。
融合モジュールの更新は、損失提案モジュールによって提案された融合損失に依存する。
3つのモジュールの交互更新は相互に促進し、異なるタスクに対して適切な融合損失を提案し、良好な融合結果を得る。
広範囲にわたる実験により、ReFusionは赤外線可視、医療、マルチフォーカス、マルチ露光画像融合など様々なタスクに適応できることが示された。
コードはリリースされます。
関連論文リスト
- Text-DiFuse: An Interactive Multi-Modal Image Fusion Framework based on Text-modulated Diffusion Model [30.739879255847946]
既存のマルチモーダル画像融合法では、ソース画像に示される複合劣化に対処できない。
本研究では,テキスト変調拡散モデルであるText-DiFuseに基づく,インタラクティブなマルチモーダル画像融合フレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-31T13:10:50Z) - Fusion from Decomposition: A Self-Supervised Approach for Image Fusion and Beyond [74.96466744512992]
画像融合の本質は、ソース画像からの相補的な情報を統合することである。
DeFusion++は、画像融合の品質を高め、下流の高レベル視覚タスクの有効性を高める、汎用的な融合表現を生成する。
論文 参考訳（メタデータ） (2024-10-16T06:28:49Z) - A Task-guided, Implicitly-searched and Meta-initialized Deep Model for
Image Fusion [69.10255211811007]
本稿では,課題の多い現実シナリオにおいて,画像融合問題に対処するためのタスク誘導,インプリシト検索,メタ一般化(TIM)深層モデルを提案する。
具体的には、画像融合の教師なし学習プロセスを導くために、下流タスクからの情報を組み込む制約付き戦略を提案する。
このフレームワーク内に暗黙の探索スキームを設計し、高速な融合モデルのためのコンパクトなアーキテクチャを自動で発見する。
論文 参考訳（メタデータ） (2023-05-25T08:54:08Z) - Searching a Compact Architecture for Robust Multi-Exposure Image Fusion [55.37210629454589]
2つの大きなスタブリングブロックは、画素の不一致や非効率な推論など、開発を妨げる。
本研究では,高機能なマルチ露光画像融合のための自己アライメントとディテールリプレクションモジュールを取り入れたアーキテクチャ検索に基づくパラダイムを提案する。
提案手法は様々な競争方式より優れており、一般的なシナリオではPSNRが3.19%向上し、不整合シナリオでは23.5%向上した。
論文 参考訳（メタデータ） (2023-05-20T17:01:52Z) - Equivariant Multi-Modality Image Fusion [124.11300001864579]
エンドツーエンドの自己教師型学習のための同変多モードImAge融合パラダイムを提案する。
我々のアプローチは、自然画像応答が特定の変換に等しくなるという以前の知識に根ざしている。
実験により、EMMAは赤外線可視画像と医用画像に高品質な融合結果をもたらすことが確認された。
論文 参考訳（メタデータ） (2023-05-19T05:50:24Z) - LRRNet: A Novel Representation Learning Guided Fusion Network for
Infrared and Visible Images [98.36300655482196]
我々は,融合タスクを数学的に定式化し,その最適解とそれを実装可能なネットワークアーキテクチャとの接続を確立する。
特に、融合タスクに学習可能な表現アプローチを採用し、融合ネットワークアーキテクチャの構築は学習可能なモデルを生成する最適化アルゴリズムによって導かれる。
この新しいネットワークアーキテクチャに基づいて、赤外線および可視光画像を融合するために、エンドツーエンドの軽量核融合ネットワークを構築する。
論文 参考訳（メタデータ） (2023-04-11T12:11:23Z) - CoCoNet: Coupled Contrastive Learning Network with Multi-level Feature
Ensemble for Multi-modality Image Fusion [72.8898811120795]
我々は、赤外線と可視画像の融合を実現するために、CoCoNetと呼ばれるコントラスト学習ネットワークを提案する。
本手法は,主観的評価と客観的評価の両面において,最先端(SOTA)性能を実現する。
論文 参考訳（メタデータ） (2022-11-20T12:02:07Z) - TransFuse: A Unified Transformer-based Image Fusion Framework using
Self-supervised Learning [5.849513679510834]
画像融合(英: Image fusion)とは、複数のソース画像からの情報を補完情報と統合し、単一の画像の豊かさを改善する技術である。
2段階の手法では、大規模な自然言語データセット上でエンコーダ・デコーダネットワークをトレーニングすることで、タスク固有の大量のトレーニングデータの必要性を回避する。
本稿では, ネットワークがタスク固有の特徴を学習することを奨励する, 破壊再構成に基づく自己指導型学習手法を提案する。
論文 参考訳（メタデータ） (2022-01-19T07:30:44Z) - RFN-Nest: An end-to-end residual fusion network for infrared and visible
images [37.935940961760785]
赤外線および可視画像融合のためのエンドツーエンド融合ネットワークアーキテクチャ(RFN-Nest)を提案する。
RFNを訓練するために、新しい詳細保存損失関数と機能強化損失関数が提案される。
パブリックドメインデータセットの実験結果から,既存手法と比較して,我々のエンドツーエンドのフュージョンネットワークは最先端の手法よりも優れた性能を提供することが示された。
論文 参考訳（メタデータ） (2021-03-07T07:29:50Z) - UFA-FUSE: A novel deep supervised and hybrid model for multi-focus image
fusion [4.105749631623888]
伝統的および深層学習に基づく融合法は、一連の後処理手順を通じて中間決定マップを生成する。
深層学習に基づく画像再構成技術に着想を得て,多焦点画像融合ネットワークフレームワークを提案する。
提案手法は,19種類の最先端核融合法と比較して優れた核融合性能が得られることを示す。
論文 参考訳（メタデータ） (2021-01-12T14:33:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。