論文の概要: End-to-End Learning for Simultaneously Generating Decision Map and
Multi-Focus Image Fusion Result
- arxiv url: http://arxiv.org/abs/2010.08751v3
- Date: Tue, 23 Mar 2021 07:34:42 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-06 11:55:53.958524
- Title: End-to-End Learning for Simultaneously Generating Decision Map and
Multi-Focus Image Fusion Result
- Title（参考訳）: 意思決定マップと複数焦点画像融合の同時生成のためのエンドツーエンド学習
- Authors: Boyuan Ma, Xiang Yin, Di Wu, Xiaojuan Ban
- Abstract要約: 多焦点画像融合の目的は、異なる画像の集中領域を集め、ユニークな全焦点融合画像を生成することである。
既存のディープラーニング構造のほとんどは、融合品質とエンドツーエンドの実装の利便性のバランスが取れなかった。
本稿では,決定マップと融合した結果をエンドツーエンドのトレーニング手順で同時に生成するカスケードネットワークを提案する。
- 参考スコア（独自算出の注目度）: 7.564462759345851
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The general aim of multi-focus image fusion is to gather focused regions of
different images to generate a unique all-in-focus fused image. Deep learning
based methods become the mainstream of image fusion by virtue of its powerful
feature representation ability. However, most of the existing deep learning
structures failed to balance fusion quality and end-to-end implementation
convenience. End-to-end decoder design often leads to unrealistic result
because of its non-linear mapping mechanism. On the other hand, generating an
intermediate decision map achieves better quality for the fused image, but
relies on the rectification with empirical post-processing parameter choices.
In this work, to handle the requirements of both output image quality and
comprehensive simplicity of structure implementation, we propose a cascade
network to simultaneously generate decision map and fused result with an
end-to-end training procedure. It avoids the dependence on empirical
post-processing methods in the inference stage. To improve the fusion quality,
we introduce a gradient aware loss function to preserve gradient information in
output fused image. In addition, we design a decision calibration strategy to
decrease the time consumption in the application of multiple images fusion.
Extensive experiments are conducted to compare with 19 different
state-of-the-art multi-focus image fusion structures with 6 assessment metrics.
The results prove that our designed structure can generally ameliorate the
output fused image quality, while implementation efficiency increases over 30\%
for multiple images fusion.
- Abstract（参考訳）: 多焦点画像融合の一般的な目的は、異なる画像の集中領域を集め、ユニークな全焦点融合画像を生成することである。
深層学習に基づく手法はその強力な特徴表現能力によって画像融合の主流となる。
しかし、既存のディープラーニング構造のほとんどは、融合品質とエンドツーエンドの実装の利便性のバランスが取れなかった。
エンドツーエンドデコーダの設計はしばしば非現実的な結果をもたらす。
一方、中間決定マップの生成は、融合画像のより良い品質を達成するが、経験的後処理パラメータの選択による修正に依存する。
本研究では,出力画像品質の要求と構造実装の包括的単純さの両方を扱うため,エンドツーエンドのトレーニング手順で決定マップと融合結果を同時に生成するカスケードネットワークを提案する。
推論段階における経験的後処理メソッドへの依存を避ける。
融合品質を向上させるため,出力融合画像の勾配情報を保存するための勾配認識損失関数を導入する。
さらに,複数画像融合の応用における時間消費を削減するための決定校正戦略を設計する。
19種類の多焦点画像融合構造と6つの評価指標の比較実験を行った。
その結果,複数の画像融合において,実装効率が30\%以上向上するのに対し,設計した構造は一般的に画像品質を改善できることがわかった。
関連論文リスト
- Fusion from Decomposition: A Self-Supervised Approach for Image Fusion and Beyond [74.96466744512992]
画像融合の本質は、ソース画像からの相補的な情報を統合することである。
DeFusion++は、画像融合の品質を高め、下流の高レベル視覚タスクの有効性を高める、汎用的な融合表現を生成する。
論文 参考訳（メタデータ） (2024-10-16T06:28:49Z) - Generation and Recombination for Multifocus Image Fusion with Free
Number of Inputs [17.32596568119519]
マルチフォーカス画像融合は光学レンズの限界を克服する有効な方法である。
従来の手法では、2つのソース画像の焦点領域は相補的であり、複数の画像の同時融合が不可能である。
GRFusionでは、各ソースイメージのフォーカス特性検出を独立して実装でき、複数のソースイメージを同時に統合することができる。
論文 参考訳（メタデータ） (2023-09-09T01:47:56Z) - A Task-guided, Implicitly-searched and Meta-initialized Deep Model for
Image Fusion [69.10255211811007]
本稿では,課題の多い現実シナリオにおいて,画像融合問題に対処するためのタスク誘導,インプリシト検索,メタ一般化(TIM)深層モデルを提案する。
具体的には、画像融合の教師なし学習プロセスを導くために、下流タスクからの情報を組み込む制約付き戦略を提案する。
このフレームワーク内に暗黙の探索スキームを設計し、高速な融合モデルのためのコンパクトなアーキテクチャを自動で発見する。
論文 参考訳（メタデータ） (2023-05-25T08:54:08Z) - Searching a Compact Architecture for Robust Multi-Exposure Image Fusion [55.37210629454589]
2つの大きなスタブリングブロックは、画素の不一致や非効率な推論など、開発を妨げる。
本研究では,高機能なマルチ露光画像融合のための自己アライメントとディテールリプレクションモジュールを取り入れたアーキテクチャ検索に基づくパラダイムを提案する。
提案手法は様々な競争方式より優れており、一般的なシナリオではPSNRが3.19%向上し、不整合シナリオでは23.5%向上した。
論文 参考訳（メタデータ） (2023-05-20T17:01:52Z) - CoCoNet: Coupled Contrastive Learning Network with Multi-level Feature
Ensemble for Multi-modality Image Fusion [72.8898811120795]
我々は、赤外線と可視画像の融合を実現するために、CoCoNetと呼ばれるコントラスト学習ネットワークを提案する。
本手法は,主観的評価と客観的評価の両面において,最先端(SOTA)性能を実現する。
論文 参考訳（メタデータ） (2022-11-20T12:02:07Z) - Unsupervised Image Fusion Method based on Feature Mutual Mapping [16.64607158983448]
上記の問題に対処するために,教師なし適応画像融合法を提案する。
入力元画像間の画素の接続を計測するグローバルマップを構築した。
本手法は視覚的知覚と客観的評価の両方において優れた性能を実現する。
論文 参考訳（メタデータ） (2022-01-25T07:50:14Z) - TransFuse: A Unified Transformer-based Image Fusion Framework using
Self-supervised Learning [5.849513679510834]
画像融合(英: Image fusion)とは、複数のソース画像からの情報を補完情報と統合し、単一の画像の豊かさを改善する技術である。
2段階の手法では、大規模な自然言語データセット上でエンコーダ・デコーダネットワークをトレーニングすることで、タスク固有の大量のトレーニングデータの必要性を回避する。
本稿では, ネットワークがタスク固有の特徴を学習することを奨励する, 破壊再構成に基づく自己指導型学習手法を提案する。
論文 参考訳（メタデータ） (2022-01-19T07:30:44Z) - UFA-FUSE: A novel deep supervised and hybrid model for multi-focus image
fusion [4.105749631623888]
伝統的および深層学習に基づく融合法は、一連の後処理手順を通じて中間決定マップを生成する。
深層学習に基づく画像再構成技術に着想を得て,多焦点画像融合ネットワークフレームワークを提案する。
提案手法は,19種類の最先端核融合法と比較して優れた核融合性能が得られることを示す。
論文 参考訳（メタデータ） (2021-01-12T14:33:13Z) - Deep Image Compositing [93.75358242750752]
ユーザ入力なしで高品質の画像合成を自動生成する手法を提案する。
ラプラシアン・ピラミッド・ブレンディングにインスパイアされ、フォアグラウンドや背景画像からの情報を効果的に融合させるために、密結合型多ストリーム融合ネットワークが提案されている。
実験により,提案手法は高品質な合成物を自動生成し,定性的かつ定量的に既存手法より優れた性能を発揮することが示された。
論文 参考訳（メタデータ） (2020-11-04T06:12:24Z) - Gated Fusion Network for Degraded Image Super Resolution [78.67168802945069]
本稿では,基本特徴と回復特徴を別々に抽出する二分岐畳み込みニューラルネットワークを提案する。
特徴抽出ステップを2つのタスク非依存ストリームに分解することで、デュアルブランチモデルがトレーニングプロセスを容易にすることができる。
論文 参考訳（メタデータ） (2020-03-02T13:28:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。