論文の概要: UFA-FUSE: A novel deep supervised and hybrid model for multi-focus image
fusion
- arxiv url: http://arxiv.org/abs/2101.04506v1
- Date: Tue, 12 Jan 2021 14:33:13 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-04 01:53:40.889841
- Title: UFA-FUSE: A novel deep supervised and hybrid model for multi-focus image
fusion
- Title(参考訳): UFA-FUSE:多焦点画像融合のための新しい深層教師付きハイブリッドモデル
- Authors: Yongsheng Zang, Dongming Zhou, Changcheng Wang, Rencan Nie, and Yanbu
Guo
- Abstract要約: 伝統的および深層学習に基づく融合法は、一連の後処理手順を通じて中間決定マップを生成する。
深層学習に基づく画像再構成技術に着想を得て,多焦点画像融合ネットワークフレームワークを提案する。
提案手法は,19種類の最先端核融合法と比較して優れた核融合性能が得られることを示す。
- 参考スコア(独自算出の注目度): 4.105749631623888
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Traditional and deep learning-based fusion methods generated the intermediate
decision map to obtain the fusion image through a series of post-processing
procedures. However, the fusion results generated by these methods are easy to
lose some source image details or results in artifacts. Inspired by the image
reconstruction techniques based on deep learning, we propose a multi-focus
image fusion network framework without any post-processing to solve these
problems in the end-to-end and supervised learning way. To sufficiently train
the fusion model, we have generated a large-scale multi-focus image dataset
with ground-truth fusion images. What's more, to obtain a more informative
fusion image, we further designed a novel fusion strategy based on unity fusion
attention, which is composed of a channel attention module and a spatial
attention module. Specifically, the proposed fusion approach mainly comprises
three key components: feature extraction, feature fusion and image
reconstruction. We firstly utilize seven convolutional blocks to extract the
image features from source images. Then, the extracted convolutional features
are fused by the proposed fusion strategy in the feature fusion layer. Finally,
the fused image features are reconstructed by four convolutional blocks.
Experimental results demonstrate that the proposed approach for multi-focus
image fusion achieves remarkable fusion performance compared to 19
state-of-the-art fusion methods.
- Abstract(参考訳): 従来の深層学習に基づく融合法は中間決定マップを生成し、一連の後処理手順を通じて融合画像を得る。
しかし、これらの方法で生成された融合結果は、ソースイメージの詳細や成果物を失うことは容易である。
ディープラーニングに基づく画像再構成技術に着想を得て,これらの課題をエンドツーエンドかつ教師付き学習方法で解決するために,ポストプロセッシングを伴わないマルチフォーカス画像融合ネットワークフレームワークを提案する。
融合モデルを十分に訓練するために,地上融合画像を用いた大規模マルチフォーカス画像データセットを作成した。
さらに,より情報的な融合画像を得るために,チャネルアテンションモジュールと空間アテンションモジュールから構成されるユニタリフュージョンアテンションに基づく新しい融合戦略を設計した。
具体的には,提案手法は主に特徴抽出,特徴融合,画像再構成の3つの要素からなる。
まず,7つの畳み込みブロックを用いて画像の特徴を抽出する。
そして, 抽出した畳み込み特性を, 特徴融合層の融合戦略により融合させる。
最後に、融合画像の特徴を4つの畳み込みブロックで再構成する。
実験の結果, 提案手法は19の最先端融合法と比較して, 優れた核融合性能が得られることがわかった。
関連論文リスト
- Generation and Recombination for Multifocus Image Fusion with Free
Number of Inputs [17.32596568119519]
マルチフォーカス画像融合は光学レンズの限界を克服する有効な方法である。
従来の手法では、2つのソース画像の焦点領域は相補的であり、複数の画像の同時融合が不可能である。
GRFusionでは、各ソースイメージのフォーカス特性検出を独立して実装でき、複数のソースイメージを同時に統合することができる。
論文 参考訳(メタデータ) (2023-09-09T01:47:56Z) - DePF: A Novel Fusion Approach based on Decomposition Pooling for
Infrared and Visible Images [7.11574718614606]
分解プール法(デプール法)に基づく新しい融合ネットワークを提案し,これをDePFと呼ぶ。
切り離しに基づくエンコーダは、ソース画像のマルチスケール画像と詳細特徴を同時に抽出するように設計されている。
実験により,提案手法は最先端技術よりも優れた核融合性能を示すことが示された。
論文 参考訳(メタデータ) (2023-05-27T05:47:14Z) - A Task-guided, Implicitly-searched and Meta-initialized Deep Model for
Image Fusion [69.10255211811007]
本稿では,課題の多い現実シナリオにおいて,画像融合問題に対処するためのタスク誘導,インプリシト検索,メタ一般化(TIM)深層モデルを提案する。
具体的には、画像融合の教師なし学習プロセスを導くために、下流タスクからの情報を組み込む制約付き戦略を提案する。
このフレームワーク内に暗黙の探索スキームを設計し、高速な融合モデルのためのコンパクトなアーキテクチャを自動で発見する。
論文 参考訳(メタデータ) (2023-05-25T08:54:08Z) - Equivariant Multi-Modality Image Fusion [142.84362457655516]
エンドツーエンドの自己教師型学習のための同変多モードImAge融合パラダイムを提案する。
我々のアプローチは、自然像が特定の変換に等しくなるという以前の知識に基づいている。
実験により,赤外可視画像と医用画像の両方に対して高品質な融合結果が得られた。
論文 参考訳(メタデータ) (2023-05-19T05:50:24Z) - LRRNet: A Novel Representation Learning Guided Fusion Network for
Infrared and Visible Images [98.36300655482196]
我々は,融合タスクを数学的に定式化し,その最適解とそれを実装可能なネットワークアーキテクチャとの接続を確立する。
特に、融合タスクに学習可能な表現アプローチを採用し、融合ネットワークアーキテクチャの構築は学習可能なモデルを生成する最適化アルゴリズムによって導かれる。
この新しいネットワークアーキテクチャに基づいて、赤外線および可視光画像を融合するために、エンドツーエンドの軽量核融合ネットワークを構築する。
論文 参考訳(メタデータ) (2023-04-11T12:11:23Z) - Breaking Free from Fusion Rule: A Fully Semantic-driven Infrared and
Visible Image Fusion [51.22863068854784]
赤外線と可視画像の融合はコンピュータビジョンの分野において重要な役割を果たす。
従来のアプローチでは、損失関数の様々な融合ルールを設計する努力が続けられていた。
セマンティックガイダンスを十分に活用する意味レベル融合ネットワークを開発した。
論文 参考訳(メタデータ) (2022-11-22T13:59:59Z) - CoCoNet: Coupled Contrastive Learning Network with Multi-level Feature
Ensemble for Multi-modality Image Fusion [72.8898811120795]
我々は、赤外線と可視画像の融合を実現するために、CoCoNetと呼ばれるコントラスト学習ネットワークを提案する。
本手法は,主観的評価と客観的評価の両面において,最先端(SOTA)性能を実現する。
論文 参考訳(メタデータ) (2022-11-20T12:02:07Z) - Unsupervised Image Fusion Method based on Feature Mutual Mapping [16.64607158983448]
上記の問題に対処するために,教師なし適応画像融合法を提案する。
入力元画像間の画素の接続を計測するグローバルマップを構築した。
本手法は視覚的知覚と客観的評価の両方において優れた性能を実現する。
論文 参考訳(メタデータ) (2022-01-25T07:50:14Z) - Image Fusion Transformer [75.71025138448287]
画像融合では、異なるセンサから得られた画像を融合して、情報強化された単一の画像を生成する。
近年,画像融合のための有意義な特徴を符号化するために,最先端の手法で畳み込みニューラルネットワーク(CNN)が採用されている。
我々は,画像融合変換器 (IFT) を提案する。
論文 参考訳(メタデータ) (2021-07-19T16:42:49Z) - A Deep Decomposition Network for Image Processing: A Case Study for
Visible and Infrared Image Fusion [38.17268441062239]
本稿では畳み込みニューラルネットワークに基づく新しい画像分解法を提案する。
赤外線画像と可視光画像を入力し、それぞれ3つの高周波特徴画像と低周波特徴画像に分解する。
2つの特徴画像セットは、特定の融合戦略を用いて融合特徴画像を取得する。
論文 参考訳(メタデータ) (2021-02-21T06:34:33Z) - End-to-End Learning for Simultaneously Generating Decision Map and
Multi-Focus Image Fusion Result [7.564462759345851]
多焦点画像融合の目的は、異なる画像の集中領域を集め、ユニークな全焦点融合画像を生成することである。
既存のディープラーニング構造のほとんどは、融合品質とエンドツーエンドの実装の利便性のバランスが取れなかった。
本稿では,決定マップと融合した結果をエンドツーエンドのトレーニング手順で同時に生成するカスケードネットワークを提案する。
論文 参考訳(メタデータ) (2020-10-17T09:09:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。