論文の概要: A Joint Convolution Auto-encoder Network for Infrared and Visible Image
Fusion
- arxiv url: http://arxiv.org/abs/2201.10736v1
- Date: Wed, 26 Jan 2022 03:49:27 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-27 14:19:48.130401
- Title: A Joint Convolution Auto-encoder Network for Infrared and Visible Image
Fusion
- Title(参考訳): 赤外・可視画像融合のための結合畳み込みオートエンコーダネットワーク
- Authors: Zhancheng Zhang, Yuanhao Gao, Mengyu Xiong, Xiaoqing Luo, and Xiao-Jun
Wu
- Abstract要約: 我々は、赤外線および可視画像融合のためのジョイント畳み込みオートエンコーダ(JCAE)ネットワークを設計する。
クロタリーナ動物の赤外線認識能力に触発され,赤外線および可視画像融合のためのジョイント・コンボリューション・オートエンコーダ(JCAE)ネットワークを設計した。
- 参考スコア(独自算出の注目度): 7.799758067671958
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Background: Leaning redundant and complementary relationships is a critical
step in the human visual system. Inspired by the infrared cognition ability of
crotalinae animals, we design a joint convolution auto-encoder (JCAE) network
for infrared and visible image fusion. Methods: Our key insight is to feed
infrared and visible pair images into the network simultaneously and separate
an encoder stream into two private branches and one common branch, the private
branch works for complementary features learning and the common branch does for
redundant features learning. We also build two fusion rules to integrate
redundant and complementary features into their fused feature which are then
fed into the decoder layer to produce the final fused image. We detail the
structure, fusion rule and explain its multi-task loss function. Results: Our
JCAE network achieves good results in terms of both subjective effect and
objective evaluation metrics.
- Abstract(参考訳): 背景: 冗長で補完的な関係を傾けることは、人間の視覚システムにおいて重要なステップです。
クロタリーナ動物の赤外線認識能力に触発され,赤外線および可視画像融合のためのジョイント畳み込みオートエンコーダ(JCAE)ネットワークを設計した。
メソッド: 私たちの重要な洞察は、赤外線と可視光のペア画像を同時にネットワークに供給し、エンコーダストリームを2つのプライベートブランチと1つの共通ブランチに分離することであり、プライベートブランチは補完的な特徴学習に、共通ブランチは冗長な特徴学習に、それぞれ機能する。
また、2つの融合ルールを構築し、冗長かつ補完的な特徴を融合機能に統合し、デコーダ層に供給して最終的な融合画像を生成する。
融合規則の構造を詳述し,マルチタスク損失関数について説明する。
結果: JCAEネットワークは主観的効果と客観的評価の指標の両方で良好な結果が得られる。
関連論文リスト
- An Interactively Reinforced Paradigm for Joint Infrared-Visible Image
Fusion and Saliency Object Detection [59.02821429555375]
この研究は、野生の隠れた物体の発見と位置決めに焦点をあて、無人のシステムに役立てる。
経験的分析により、赤外線と可視画像融合(IVIF)は、難しい物体の発見を可能にする。
マルチモーダル・サリエント・オブジェクト検出(SOD)は、画像内の物体の正確な空間的位置を正確に記述する。
論文 参考訳(メタデータ) (2023-05-17T06:48:35Z) - LRRNet: A Novel Representation Learning Guided Fusion Network for
Infrared and Visible Images [98.36300655482196]
我々は,融合タスクを数学的に定式化し,その最適解とそれを実装可能なネットワークアーキテクチャとの接続を確立する。
特に、融合タスクに学習可能な表現アプローチを採用し、融合ネットワークアーキテクチャの構築は学習可能なモデルを生成する最適化アルゴリズムによって導かれる。
この新しいネットワークアーキテクチャに基づいて、赤外線および可視光画像を融合するために、エンドツーエンドの軽量核融合ネットワークを構築する。
論文 参考訳(メタデータ) (2023-04-11T12:11:23Z) - CDDFuse: Correlation-Driven Dual-Branch Feature Decomposition for
Multi-Modality Image Fusion [138.40422469153145]
本稿では,CDDFuse(Relationed-Driven Feature Decomposition Fusion)ネットワークを提案する。
近赤外可視画像融合や医用画像融合など,複数の融合タスクにおいてCDDFuseが有望な結果をもたらすことを示す。
論文 参考訳(メタデータ) (2022-11-26T02:40:28Z) - CoCoNet: Coupled Contrastive Learning Network with Multi-level Feature
Ensemble for Multi-modality Image Fusion [72.8898811120795]
我々は、赤外線と可視画像の融合を実現するために、CoCoNetと呼ばれるコントラスト学習ネットワークを提案する。
本手法は,主観的評価と客観的評価の両面において,最先端(SOTA)性能を実現する。
論文 参考訳(メタデータ) (2022-11-20T12:02:07Z) - Interactive Feature Embedding for Infrared and Visible Image Fusion [94.77188069479155]
赤外線と可視画像の融合のための一般的なディープラーニングに基づく手法は、情報保持のための教師なしのメカニズムに依存している。
赤外線および可視画像融合のための自己教師付き学習フレームワークに,インタラクティブな新たな特徴埋め込みを提案する。
論文 参考訳(メタデータ) (2022-11-09T13:34:42Z) - Target-aware Dual Adversarial Learning and a Multi-scenario
Multi-Modality Benchmark to Fuse Infrared and Visible for Object Detection [65.30079184700755]
本研究は、物体検出のために異なるように見える赤外線と可視画像の融合の問題に対処する。
従来のアプローチでは、2つのモダリティの根底にある共通点を発見し、反復最適化またはディープネットワークによって共通空間に融合する。
本稿では、融合と検出の連立問題に対する二段階最適化の定式化を提案し、その後、核融合と一般的に使用される検出ネットワークのためのターゲット認識デュアル逆学習(TarDAL)ネットワークに展開する。
論文 参考訳(メタデータ) (2022-03-30T11:44:56Z) - Infrared and Visible Image Fusion via Interactive Compensatory Attention
Adversarial Learning [7.995162257955025]
本稿では, 融合バランスを改善するために, 生成的対角訓練に基づく新しいエンド・ツー・エンド・モードを提案する。
特にジェネレータでは、トリプルパスを持つマルチレベルエンコーダデコーダネットワークを構築し、赤外線および可視経路を採用し、さらなる強度と情報勾配を提供する。
さらに、二重判別器は、融合した結果とソース画像の類似した分布を特定するように設計されており、生成器はよりバランスの取れた結果を生成するように最適化されている。
論文 参考訳(メタデータ) (2022-03-29T08:28:14Z) - A Dual-branch Network for Infrared and Visible Image Fusion [20.15854042473049]
高密度ブロックとGANに基づく新しい手法を提案する。
ネットワーク全体の各層に入力された画像可視光画像を直接挿入します。
提案手法により得られた融合画像は,複数の評価指標に基づいて良好なスコアが得られることを示す。
論文 参考訳(メタデータ) (2021-01-24T04:18:32Z) - Image fusion using symmetric skip autoencodervia an Adversarial
Regulariser [6.584748347223698]
本稿では,より現実的な融合画像を生成するために,残差対向ネットワークによって正規化された残差自己エンコーダアーキテクチャを提案する。
残余モジュールはエンコーダ、デコーダ、および敵ネットワークの主要なビルディングとして機能する。
本稿では、融合画像と元の視覚画像の教師あり学習を行う対向正規化ネットワークを提案する。
論文 参考訳(メタデータ) (2020-05-01T15:31:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。