論文の概要: LRRNet: A Novel Representation Learning Guided Fusion Network for Infrared and Visible Images

• arxiv url: http://arxiv.org/abs/2304.05172v1
• Date: Tue, 11 Apr 2023 12:11:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-12 15:03:41.703418
• Title: LRRNet: A Novel Representation Learning Guided Fusion Network for Infrared and Visible Images
• Title（参考訳）: LRRNet:赤外線と可視画像のための新しい表現学習ガイド融合ネットワーク
• Authors: Hui Li, Tianyang Xu, Xiao-Jun Wu, Jiwen Lu, Josef Kittler
• Abstract要約: 我々は,融合タスクを数学的に定式化し,その最適解とそれを実装可能なネットワークアーキテクチャとの接続を確立する。 このアプローチは、軽量核融合ネットワークを構築するための論文で提案される新しい手法に繋がる。 特に、融合タスクに学習可能な表現アプローチを採用し、融合ネットワークアーキテクチャの構築は学習可能なモデルを生成する最適化アルゴリズムによって導かれる。
• 参考スコア（独自算出の注目度）: 98.36300655482196
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning based fusion methods have been achieving promising performance in image fusion tasks. This is attributed to the network architecture that plays a very important role in the fusion process. However, in general, it is hard to specify a good fusion architecture, and consequently, the design of fusion networks is still a black art, rather than science. To address this problem, we formulate the fusion task mathematically, and establish a connection between its optimal solution and the network architecture that can implement it. This approach leads to a novel method proposed in the paper of constructing a lightweight fusion network. It avoids the time-consuming empirical network design by a trial-and-test strategy. In particular we adopt a learnable representation approach to the fusion task, in which the construction of the fusion network architecture is guided by the optimisation algorithm producing the learnable model. The low-rank representation (LRR) objective is the foundation of our learnable model. The matrix multiplications, which are at the heart of the solution are transformed into convolutional operations, and the iterative process of optimisation is replaced by a special feed-forward network. Based on this novel network architecture, an end-to-end lightweight fusion network is constructed to fuse infrared and visible light images. Its successful training is facilitated by a detail-to-semantic information loss function proposed to preserve the image details and to enhance the salient features of the source images. Our experiments show that the proposed fusion network exhibits better fusion performance than the state-of-the-art fusion methods on public datasets. Interestingly, our network requires a fewer training parameters than other existing methods.
• Abstract（参考訳）: 深層学習に基づく融合法は画像融合タスクにおいて有望な性能を実現している。 これは、融合プロセスにおいて非常に重要な役割を果たすネットワークアーキテクチャに起因する。 しかし、一般的には、優れた融合アーキテクチャを特定することは困難であり、そのため、融合ネットワークの設計は科学というよりは、まだブラックアートである。 この問題に対処するために,融合タスクを数学的に定式化し,その最適解と実装可能なネットワークアーキテクチャとの接続を確立する。 このアプローチは、軽量核融合ネットワークを構築するための論文で提案される新しい手法に繋がる。 試行錯誤戦略により、時間を要する経験的ネットワーク設計を避ける。 特に、融合タスクに学習可能な表現アプローチを採用し、融合ネットワークアーキテクチャの構築は学習可能なモデルを生成する最適化アルゴリズムによって導かれる。 低ランク表現(LRR)の目的は、学習可能なモデルの基礎である。 解の中心にある行列の乗算は畳み込み演算に変換され、最適化の反復過程は特別なフィードフォワードネットワークに置き換えられる。 この新しいネットワークアーキテクチャに基づき、赤外線と可視光画像を融合するエンドツーエンドの軽量核融合ネットワークを構築する。 そのトレーニングの成功は、画像の詳細を保存し、ソース画像の健全な特徴を高めるために提案された詳細から意味までの情報損失関数によって促進される。 実験により,提案した核融合ネットワークは,公開データセット上の最先端核融合手法よりも優れた核融合性能を示すことが示された。 興味深いことに、われわれのネットワークは既存の方法よりも少ないトレーニングパラメータを必要とする。

関連論文リスト

• A Task-guided, Implicitly-searched and Meta-initialized Deep Model for Image Fusion [69.10255211811007]
  本稿では,課題の多い現実シナリオにおいて,画像融合問題に対処するためのタスク誘導,インプリシト検索,メタ一般化(TIM)深層モデルを提案する。 具体的には、画像融合の教師なし学習プロセスを導くために、下流タスクからの情報を組み込む制約付き戦略を提案する。 このフレームワーク内に暗黙の探索スキームを設計し、高速な融合モデルのためのコンパクトなアーキテクチャを自動で発見する。
  論文  参考訳（メタデータ） (2023-05-25T08:54:08Z)
• Searching a Compact Architecture for Robust Multi-Exposure Image Fusion [55.37210629454589]
  2つの大きなスタブリングブロックは、画素の不一致や非効率な推論など、開発を妨げる。 本研究では,高機能なマルチ露光画像融合のための自己アライメントとディテールリプレクションモジュールを取り入れたアーキテクチャ検索に基づくパラダイムを提案する。 提案手法は様々な競争方式より優れており、一般的なシナリオではPSNRが3.19%向上し、不整合シナリオでは23.5%向上した。
  論文  参考訳（メタデータ） (2023-05-20T17:01:52Z)
• CoCoNet: Coupled Contrastive Learning Network with Multi-level Feature Ensemble for Multi-modality Image Fusion [72.8898811120795]
  我々は、赤外線と可視画像の融合を実現するために、CoCoNetと呼ばれるコントラスト学習ネットワークを提案する。 本手法は,主観的評価と客観的評価の両面において,最先端(SOTA)性能を実現する。
  論文  参考訳（メタデータ） (2022-11-20T12:02:07Z)
• Unsupervised Image Fusion Method based on Feature Mutual Mapping [16.64607158983448]
  上記の問題に対処するために,教師なし適応画像融合法を提案する。 入力元画像間の画素の接続を計測するグローバルマップを構築した。 本手法は視覚的知覚と客観的評価の両方において優れた性能を実現する。
  論文  参考訳（メタデータ） (2022-01-25T07:50:14Z)
• TransFuse: A Unified Transformer-based Image Fusion Framework using Self-supervised Learning [5.849513679510834]
  画像融合(英: Image fusion)とは、複数のソース画像からの情報を補完情報と統合し、単一の画像の豊かさを改善する技術である。 2段階の手法では、大規模な自然言語データセット上でエンコーダ・デコーダネットワークをトレーニングすることで、タスク固有の大量のトレーニングデータの必要性を回避する。 本稿では, ネットワークがタスク固有の特徴を学習することを奨励する, 破壊再構成に基づく自己指導型学習手法を提案する。
  論文  参考訳（メタデータ） (2022-01-19T07:30:44Z)
• Image Fusion Transformer [75.71025138448287]
  画像融合では、異なるセンサから得られた画像を融合して、情報強化された単一の画像を生成する。 近年,画像融合のための有意義な特徴を符号化するために,最先端の手法で畳み込みニューラルネットワーク(CNN)が採用されている。 我々は,画像融合変換器 (IFT) を提案する。
  論文  参考訳（メタデータ） (2021-07-19T16:42:49Z)
• RFN-Nest: An end-to-end residual fusion network for infrared and visible images [37.935940961760785]
  赤外線および可視画像融合のためのエンドツーエンド融合ネットワークアーキテクチャ(RFN-Nest)を提案する。 RFNを訓練するために、新しい詳細保存損失関数と機能強化損失関数が提案される。 パブリックドメインデータセットの実験結果から,既存手法と比較して,我々のエンドツーエンドのフュージョンネットワークは最先端の手法よりも優れた性能を提供することが示された。
  論文  参考訳（メタデータ） (2021-03-07T07:29:50Z)
• NestFuse: An Infrared and Visible Image Fusion Architecture based on Nest Connection and Spatial/Channel Attention Models [12.16870022547833]
  赤外線・可視画像融合のための新しい手法を提案する。 ネスト接続型ネットワークと空間/チャネルアテンションモデルを開発した。 実験は、公開データセット上で実施される。
  論文  参考訳（メタデータ） (2020-07-01T08:46:23Z)
• RoutedFusion: Learning Real-time Depth Map Fusion [73.0378509030908]
  深度マップ融合のための新しいリアルタイム能動機械学習手法を提案する。 本稿では,通常の核融合エラーを考慮に入れた非線形更新を予測できるニューラルネットワークを提案する。 本ネットワークは2次元深度ルーティングネットワークと3次元深度融合ネットワークから構成されており,センサ固有のノイズや外れ値の処理を効率的に行う。
  論文  参考訳（メタデータ） (2020-01-13T16:46:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。