論文の概要: ReFusion: Learning Image Fusion from Reconstruction with Learnable Loss
via Meta-Learning
- arxiv url: http://arxiv.org/abs/2312.07943v1
- Date: Wed, 13 Dec 2023 07:40:39 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-14 16:23:56.983273
- Title: ReFusion: Learning Image Fusion from Reconstruction with Learnable Loss
via Meta-Learning
- Title（参考訳）: リフュージョン:メタラーニングを通して学習可能な損失を伴う再構成から画像融合を学ぶ
- Authors: Haowen Bai, Zixiang Zhao, Jiangshe Zhang, Yichen Wu, Lilun Deng, Yukun
Cui, Shuang Xu, Baisong Jiang
- Abstract要約: 本稿では、ソースコードの再構成から最適な融合損失を学習するReFusionという統合メタラーニングベースの融合フレームワークを提案する。
提案手法は,赤外線可視,マルチフォーカス,マルチ露光,医用画像融合などの多様な融合タスクに適応できる。
- 参考スコア（独自算出の注目度）: 17.91346343984845
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Image fusion aims to combine information from multiple source images into a
single and more informative image. A major challenge for deep learning-based
image fusion algorithms is the absence of a definitive ground truth and
distance measurement. Thus, the manually specified loss functions aiming to
steer the model learning, include hyperparameters that need to be manually
thereby limiting the model's flexibility and generalizability to unseen tasks.
To overcome the limitations of designing loss functions for specific fusion
tasks, we propose a unified meta-learning based fusion framework named
ReFusion, which learns optimal fusion loss from reconstructing source images.
ReFusion consists of a fusion module, a loss proposal module, and a
reconstruction module. Compared with the conventional methods with fixed loss
functions, ReFusion employs a parameterized loss function, which is dynamically
adapted by the loss proposal module based on the specific fusion scene and
task. To ensure that the fusion network preserves maximal information from the
source images, makes it possible to reconstruct the original images from the
fusion image, a meta-learning strategy is used to make the reconstruction loss
continually refine the parameters of the loss proposal module. Adaptive
updating is achieved by alternating between inter update, outer update, and
fusion update, where the training of the three components facilitates each
other. Extensive experiments affirm that our method can successfully adapt to
diverse fusion tasks, including infrared-visible, multi-focus, multi-exposure,
and medical image fusion problems. The code will be released.
- Abstract（参考訳）: 画像融合は、複数のソースイメージからの情報と、より情報的なイメージを組み合わせることを目的としている。
深層学習に基づく画像融合アルゴリズムの大きな課題は、決定的な真実と距離測定がないことである。
したがって、モデル学習を制御しようとする手作業で指定された損失関数には、手動で必要となるハイパーパラメータが含まれており、それによってモデルの柔軟性と非認識タスクの一般化が制限される。
特定の融合タスクにおける損失関数設計の限界を克服するため、ソースコードの再構成から最適な融合損失を学習するReFusionと呼ばれる統合メタラーニングベースの融合フレームワークを提案する。
ReFusionは、融合モジュール、損失提案モジュール、再構築モジュールで構成される。
ReFusionは従来の固定化損失関数法と比較してパラメータ化損失関数を用いており、特定の融合シーンとタスクに基づいて損失提案モジュールによって動的に適応される。
核融合ネットワークがソース画像から最大情報を保存し、核融合画像から原画像の再構成を可能にするため、メタラーニング戦略を用いて、再構成損失を損失提案モジュールのパラメータを継続的に洗練させる。
適応的な更新は、inter update、outer update、fusion updateの交互に行われ、3つのコンポーネントのトレーニングが相互に促進される。
広範な実験により,本手法は赤外可視,マルチフォーカス,マルチエクスポージャー,医用画像融合といった多様な融合課題に適応できることが確認された。
コードはリリースされます。
関連論文リスト
- Text-DiFuse: An Interactive Multi-Modal Image Fusion Framework based on Text-modulated Diffusion Model [30.739879255847946]
既存のマルチモーダル画像融合法では、ソース画像に示される複合劣化に対処できない。
本研究では,テキスト変調拡散モデルであるText-DiFuseに基づく,インタラクティブなマルチモーダル画像融合フレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-31T13:10:50Z) - Fusion from Decomposition: A Self-Supervised Approach for Image Fusion and Beyond [74.96466744512992]
画像融合の本質は、ソース画像からの相補的な情報を統合することである。
DeFusion++は、画像融合の品質を高め、下流の高レベル視覚タスクの有効性を高める、汎用的な融合表現を生成する。
論文 参考訳（メタデータ） (2024-10-16T06:28:49Z) - A Task-guided, Implicitly-searched and Meta-initialized Deep Model for
Image Fusion [69.10255211811007]
本稿では,課題の多い現実シナリオにおいて,画像融合問題に対処するためのタスク誘導,インプリシト検索,メタ一般化(TIM)深層モデルを提案する。
具体的には、画像融合の教師なし学習プロセスを導くために、下流タスクからの情報を組み込む制約付き戦略を提案する。
このフレームワーク内に暗黙の探索スキームを設計し、高速な融合モデルのためのコンパクトなアーキテクチャを自動で発見する。
論文 参考訳（メタデータ） (2023-05-25T08:54:08Z) - Searching a Compact Architecture for Robust Multi-Exposure Image Fusion [55.37210629454589]
2つの大きなスタブリングブロックは、画素の不一致や非効率な推論など、開発を妨げる。
本研究では,高機能なマルチ露光画像融合のための自己アライメントとディテールリプレクションモジュールを取り入れたアーキテクチャ検索に基づくパラダイムを提案する。
提案手法は様々な競争方式より優れており、一般的なシナリオではPSNRが3.19%向上し、不整合シナリオでは23.5%向上した。
論文 参考訳（メタデータ） (2023-05-20T17:01:52Z) - Equivariant Multi-Modality Image Fusion [124.11300001864579]
エンドツーエンドの自己教師型学習のための同変多モードImAge融合パラダイムを提案する。
我々のアプローチは、自然画像応答が特定の変換に等しくなるという以前の知識に根ざしている。
実験により、EMMAは赤外線可視画像と医用画像に高品質な融合結果をもたらすことが確認された。
論文 参考訳（メタデータ） (2023-05-19T05:50:24Z) - LRRNet: A Novel Representation Learning Guided Fusion Network for
Infrared and Visible Images [98.36300655482196]
我々は,融合タスクを数学的に定式化し,その最適解とそれを実装可能なネットワークアーキテクチャとの接続を確立する。
特に、融合タスクに学習可能な表現アプローチを採用し、融合ネットワークアーキテクチャの構築は学習可能なモデルを生成する最適化アルゴリズムによって導かれる。
この新しいネットワークアーキテクチャに基づいて、赤外線および可視光画像を融合するために、エンドツーエンドの軽量核融合ネットワークを構築する。
論文 参考訳（メタデータ） (2023-04-11T12:11:23Z) - CoCoNet: Coupled Contrastive Learning Network with Multi-level Feature
Ensemble for Multi-modality Image Fusion [72.8898811120795]
我々は、赤外線と可視画像の融合を実現するために、CoCoNetと呼ばれるコントラスト学習ネットワークを提案する。
本手法は,主観的評価と客観的評価の両面において,最先端(SOTA)性能を実現する。
論文 参考訳（メタデータ） (2022-11-20T12:02:07Z) - TransFuse: A Unified Transformer-based Image Fusion Framework using
Self-supervised Learning [5.849513679510834]
画像融合(英: Image fusion)とは、複数のソース画像からの情報を補完情報と統合し、単一の画像の豊かさを改善する技術である。
2段階の手法では、大規模な自然言語データセット上でエンコーダ・デコーダネットワークをトレーニングすることで、タスク固有の大量のトレーニングデータの必要性を回避する。
本稿では, ネットワークがタスク固有の特徴を学習することを奨励する, 破壊再構成に基づく自己指導型学習手法を提案する。
論文 参考訳（メタデータ） (2022-01-19T07:30:44Z) - RFN-Nest: An end-to-end residual fusion network for infrared and visible
images [37.935940961760785]
赤外線および可視画像融合のためのエンドツーエンド融合ネットワークアーキテクチャ(RFN-Nest)を提案する。
RFNを訓練するために、新しい詳細保存損失関数と機能強化損失関数が提案される。
パブリックドメインデータセットの実験結果から,既存手法と比較して,我々のエンドツーエンドのフュージョンネットワークは最先端の手法よりも優れた性能を提供することが示された。
論文 参考訳（メタデータ） (2021-03-07T07:29:50Z) - UFA-FUSE: A novel deep supervised and hybrid model for multi-focus image
fusion [4.105749631623888]
伝統的および深層学習に基づく融合法は、一連の後処理手順を通じて中間決定マップを生成する。
深層学習に基づく画像再構成技術に着想を得て,多焦点画像融合ネットワークフレームワークを提案する。
提案手法は,19種類の最先端核融合法と比較して優れた核融合性能が得られることを示す。
論文 参考訳（メタデータ） (2021-01-12T14:33:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。