論文の概要: ReFusion: Learning Image Fusion from Reconstruction with Learnable Loss via Meta-Learning

• arxiv url: http://arxiv.org/abs/2312.07943v3
• Date: Mon, 03 Feb 2025 16:16:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 14:54:50.828526
• Title: ReFusion: Learning Image Fusion from Reconstruction with Learnable Loss via Meta-Learning
• Title（参考訳）: リフュージョン:メタラーニングを通して学習可能な損失を伴う再構成から画像融合を学習する
• Authors: Haowen Bai, Zixiang Zhao, Jiangshe Zhang, Yichen Wu, Lilun Deng, Yukun Cui, Shuang Xu, Baisong Jiang,
• Abstract要約: ReFusionはメタ学習ベースのイメージ融合フレームワークである。 ソース画像再構成により、様々なタスクの融合損失を動的に最適化する。 赤外線可視、医療、マルチフォーカス、マルチ露光画像融合など、様々なタスクに適応することができる。
• 参考スコア（独自算出の注目度）: 17.173784980297214
• License:
• Abstract: Image fusion aims to combine information from multiple source images into a single one with more comprehensive informational content. Deep learning-based image fusion algorithms face significant challenges, including the lack of a definitive ground truth and the corresponding distance measurement. Additionally, current manually defined loss functions limit the model's flexibility and generalizability for various fusion tasks. To address these limitations, we propose ReFusion, a unified meta-learning based image fusion framework that dynamically optimizes the fusion loss for various tasks through source image reconstruction. Compared to existing methods, ReFusion employs a parameterized loss function, that allows the training framework to be dynamically adapted according to the specific fusion scenario and task. ReFusion consists of three key components: a fusion module, a source reconstruction module, and a loss proposal module. We employ a meta-learning strategy to train the loss proposal module using the reconstruction loss. This strategy forces the fused image to be more conducive to reconstruct source images, allowing the loss proposal module to generate a adaptive fusion loss that preserves the optimal information from the source images. The update of the fusion module relies on the learnable fusion loss proposed by the loss proposal module. The three modules update alternately, enhancing each other to optimize the fusion loss for different tasks and consistently achieve satisfactory results. Extensive experiments demonstrate that ReFusion is capable of adapting to various tasks, including infrared-visible, medical, multi-focus, and multi-exposure image fusion.
• Abstract（参考訳）: Image fusionは、複数のソースイメージからの情報と、より包括的な情報コンテンツを組み合わせることを目的としている。 深層学習に基づく画像融合アルゴリズムは、決定的な基底真理の欠如やそれに対応する距離測定など、重大な課題に直面している。 さらに、現在の手動で定義された損失関数は、様々な融合タスクに対するモデルの柔軟性と一般化性を制限する。 これらの制約に対処するために、ソースコード再構成により様々なタスクの融合損失を動的に最適化する統合メタラーニングベースの画像融合フレームワークReFusionを提案する。 既存の方法と比較して、ReFusionはパラメータ化された損失関数を採用しており、特定の融合シナリオやタスクに応じてトレーニングフレームワークを動的に適応させることができる。 ReFusionは、核融合モジュール、ソース再構築モジュール、損失提案モジュールの3つの主要なコンポーネントで構成されている。 我々はメタラーニング戦略を用いて、復元損失を用いて損失提案モジュールを訓練する。 この戦略により、融合した画像はソースイメージを再構成しやすくなり、損失提案モジュールはソースイメージから最適な情報を保存するための適応的な融合損失を発生させる。 融合モジュールの更新は、損失提案モジュールによって提案された学習可能な融合損失に依存する。 3つのモジュールは交互に更新され、異なるタスクの融合損失を最適化し、一貫して満足な結果が得られるように互いに強化される。 広範囲にわたる実験により、ReFusionは赤外線可視、医療、マルチフォーカス、マルチ露光画像融合など様々なタスクに適応できることが示された。

関連論文リスト

• Text-DiFuse: An Interactive Multi-Modal Image Fusion Framework based on Text-modulated Diffusion Model [30.739879255847946]
  既存のマルチモーダル画像融合法では、ソース画像に示される複合劣化に対処できない。 本研究では,テキスト変調拡散モデルであるText-DiFuseに基づく,インタラクティブなマルチモーダル画像融合フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-31T13:10:50Z)
• Fusion from Decomposition: A Self-Supervised Approach for Image Fusion and Beyond [74.96466744512992]
  画像融合の本質は、ソース画像からの相補的な情報を統合することである。 DeFusion++は、画像融合の品質を高め、下流の高レベル視覚タスクの有効性を高める、汎用的な融合表現を生成する。
  論文  参考訳（メタデータ） (2024-10-16T06:28:49Z)
• A Task-guided, Implicitly-searched and Meta-initialized Deep Model for Image Fusion [69.10255211811007]
  本稿では,課題の多い現実シナリオにおいて,画像融合問題に対処するためのタスク誘導,インプリシト検索,メタ一般化(TIM)深層モデルを提案する。 具体的には、画像融合の教師なし学習プロセスを導くために、下流タスクからの情報を組み込む制約付き戦略を提案する。 このフレームワーク内に暗黙の探索スキームを設計し、高速な融合モデルのためのコンパクトなアーキテクチャを自動で発見する。
  論文  参考訳（メタデータ） (2023-05-25T08:54:08Z)
• Searching a Compact Architecture for Robust Multi-Exposure Image Fusion [55.37210629454589]
  2つの大きなスタブリングブロックは、画素の不一致や非効率な推論など、開発を妨げる。 本研究では,高機能なマルチ露光画像融合のための自己アライメントとディテールリプレクションモジュールを取り入れたアーキテクチャ検索に基づくパラダイムを提案する。 提案手法は様々な競争方式より優れており、一般的なシナリオではPSNRが3.19%向上し、不整合シナリオでは23.5%向上した。
  論文  参考訳（メタデータ） (2023-05-20T17:01:52Z)
• Equivariant Multi-Modality Image Fusion [124.11300001864579]
  エンドツーエンドの自己教師型学習のための同変多モードImAge融合パラダイムを提案する。 我々のアプローチは、自然画像応答が特定の変換に等しくなるという以前の知識に根ざしている。 実験により、EMMAは赤外線可視画像と医用画像に高品質な融合結果をもたらすことが確認された。
  論文  参考訳（メタデータ） (2023-05-19T05:50:24Z)
• LRRNet: A Novel Representation Learning Guided Fusion Network for Infrared and Visible Images [98.36300655482196]
  我々は,融合タスクを数学的に定式化し,その最適解とそれを実装可能なネットワークアーキテクチャとの接続を確立する。 特に、融合タスクに学習可能な表現アプローチを採用し、融合ネットワークアーキテクチャの構築は学習可能なモデルを生成する最適化アルゴリズムによって導かれる。 この新しいネットワークアーキテクチャに基づいて、赤外線および可視光画像を融合するために、エンドツーエンドの軽量核融合ネットワークを構築する。
  論文  参考訳（メタデータ） (2023-04-11T12:11:23Z)
• CoCoNet: Coupled Contrastive Learning Network with Multi-level Feature Ensemble for Multi-modality Image Fusion [72.8898811120795]
  我々は、赤外線と可視画像の融合を実現するために、CoCoNetと呼ばれるコントラスト学習ネットワークを提案する。 本手法は,主観的評価と客観的評価の両面において,最先端(SOTA)性能を実現する。
  論文  参考訳（メタデータ） (2022-11-20T12:02:07Z)
• TransFuse: A Unified Transformer-based Image Fusion Framework using Self-supervised Learning [5.849513679510834]
  画像融合(英: Image fusion)とは、複数のソース画像からの情報を補完情報と統合し、単一の画像の豊かさを改善する技術である。 2段階の手法では、大規模な自然言語データセット上でエンコーダ・デコーダネットワークをトレーニングすることで、タスク固有の大量のトレーニングデータの必要性を回避する。 本稿では, ネットワークがタスク固有の特徴を学習することを奨励する, 破壊再構成に基づく自己指導型学習手法を提案する。
  論文  参考訳（メタデータ） (2022-01-19T07:30:44Z)
• RFN-Nest: An end-to-end residual fusion network for infrared and visible images [37.935940961760785]
  赤外線および可視画像融合のためのエンドツーエンド融合ネットワークアーキテクチャ(RFN-Nest)を提案する。 RFNを訓練するために、新しい詳細保存損失関数と機能強化損失関数が提案される。 パブリックドメインデータセットの実験結果から,既存手法と比較して,我々のエンドツーエンドのフュージョンネットワークは最先端の手法よりも優れた性能を提供することが示された。
  論文  参考訳（メタデータ） (2021-03-07T07:29:50Z)
• UFA-FUSE: A novel deep supervised and hybrid model for multi-focus image fusion [4.105749631623888]
  伝統的および深層学習に基づく融合法は、一連の後処理手順を通じて中間決定マップを生成する。 深層学習に基づく画像再構成技術に着想を得て,多焦点画像融合ネットワークフレームワークを提案する。 提案手法は,19種類の最先端核融合法と比較して優れた核融合性能が得られることを示す。
  論文  参考訳（メタデータ） (2021-01-12T14:33:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。