論文の概要: CoCoNet: Coupled Contrastive Learning Network with Multi-level Feature Ensemble for Multi-modality Image Fusion

• arxiv url: http://arxiv.org/abs/2211.10960v2
• Date: Sat, 14 Oct 2023 07:39:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-18 06:39:57.811490
• Title: CoCoNet: Coupled Contrastive Learning Network with Multi-level Feature Ensemble for Multi-modality Image Fusion
• Title（参考訳）: CoCoNet:マルチモード画像融合のためのマルチレベル特徴アンサンブルを用いたコントラスト学習ネットワーク
• Authors: Jinyuan Liu, Runjia Lin, Guanyao Wu, Risheng Liu, Zhongxuan Luo, Xin Fan
• Abstract要約: 我々は、赤外線と可視画像の融合を実現するために、CoCoNetと呼ばれるコントラスト学習ネットワークを提案する。 本手法は,主観的評価と客観的評価の両面において,最先端(SOTA)性能を実現する。
• 参考スコア（独自算出の注目度）: 72.8898811120795
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Infrared and visible image fusion targets to provide an informative image by combining complementary information from different sensors. Existing learning-based fusion approaches attempt to construct various loss functions to preserve complementary features, while neglecting to discover the inter-relationship between the two modalities, leading to redundant or even invalid information on the fusion results. Moreover, most methods focus on strengthening the network with an increase in depth while neglecting the importance of feature transmission, causing vital information degeneration. To alleviate these issues, we propose a coupled contrastive learning network, dubbed CoCoNet, to realize infrared and visible image fusion in an end-to-end manner. Concretely, to simultaneously retain typical features from both modalities and to avoid artifacts emerging on the fused result, we develop a coupled contrastive constraint in our loss function. In a fused image, its foreground target / background detail part is pulled close to the infrared / visible source and pushed far away from the visible / infrared source in the representation space. We further exploit image characteristics to provide data-sensitive weights, allowing our loss function to build a more reliable relationship with source images. A multi-level attention module is established to learn rich hierarchical feature representation and to comprehensively transfer features in the fusion process. We also apply the proposed CoCoNet on medical image fusion of different types, e.g., magnetic resonance image, positron emission tomography image, and single photon emission computed tomography image. Extensive experiments demonstrate that our method achieves state-of-the-art (SOTA) performance under both subjective and objective evaluation, especially in preserving prominent targets and recovering vital textural details.
• Abstract（参考訳）: 赤外線および可視画像融合ターゲットは、異なるセンサからの相補的な情報を組み合わせて情報画像を提供する。 既存の学習ベースの融合アプローチは相補的な特徴を保存するために様々な損失関数を構築しようとするが、2つのモダリティ間の相互関係の発見を怠り、融合結果の冗長あるいは無効な情報をもたらす。 さらに,ほとんどの手法は,特徴伝達の重要性を無視しつつ,深度を増してネットワークの強化に重点を置いている。 これらの問題を緩和するために、我々はCoCoNetと呼ばれるコントラスト学習ネットワークを提案し、エンドツーエンドで赤外線と可視画像の融合を実現する。 具体的には、両モードの典型的特徴を同時に保持し、融合した結果に現れるアーティファクトを避けるため、損失関数にコントラスト的制約を併せ持つ。 融合画像において、その前景目標/背景詳細部は、赤外線/可視光源の近くに引き寄せられ、表示空間内の可視/赤外線源から遠方へ押し出される。 さらに、画像特性を利用して、データ感度の重み付けを行い、損失関数がソース画像とより信頼性の高い関係を構築することができる。 マルチレベルアテンションモジュールは、リッチな階層的特徴表現を学習し、融合過程における特徴を包括的に伝達する。 また, 磁気共鳴画像, ポジトロン放射トモグラフィ画像, 単一光子放射CT画像など, 異なる種類の医用画像融合に対して, 提案したCoCoNetを適用した。 広範な実験により,本手法は主観的評価と客観的評価の両方において最先端(sota)性能を達成できることが証明された。

関連論文リスト

• From Text to Pixels: A Context-Aware Semantic Synergy Solution for Infrared and Visible Image Fusion [66.33467192279514]
  我々は、テキスト記述から高レベルなセマンティクスを活用し、赤外線と可視画像のセマンティクスを統合するテキスト誘導多モード画像融合法を提案する。 本手法は,視覚的に優れた融合結果を生成するだけでなく,既存の手法よりも高い検出mAPを達成し,最先端の結果を得る。
  論文  参考訳（メタデータ） (2023-12-31T08:13:47Z)
• A Multi-scale Information Integration Framework for Infrared and Visible Image Fusion [46.545365049713105]
  赤外線および可視画像融合は、ソース画像の強度と詳細情報を含む融合画像を生成することを目的としている。 既存の手法は主に損失関数の単純な重みを採用し、各モードの情報保持を決定する。 近赤外・可視画像融合のためのマルチスケールデュアルアテンション(MDA)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-07T14:40:05Z)
• PAIF: Perception-Aware Infrared-Visible Image Fusion for Attack-Tolerant Semantic Segmentation [50.556961575275345]
  対向シーンにおけるセグメンテーションの堅牢性を促進するための認識認識型融合フレームワークを提案する。 我々は,先進の競争相手に比べて15.3% mIOUの利得で,ロバスト性を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2023-08-08T01:55:44Z)
• An Interactively Reinforced Paradigm for Joint Infrared-Visible Image Fusion and Saliency Object Detection [59.02821429555375]
  この研究は、野生の隠れた物体の発見と位置決めに焦点をあて、無人のシステムに役立てる。 経験的分析により、赤外線と可視画像融合(IVIF)は、難しい物体の発見を可能にする。 マルチモーダル・サリエント・オブジェクト検出(SOD)は、画像内の物体の正確な空間的位置を正確に記述する。
  論文  参考訳（メタデータ） (2023-05-17T06:48:35Z)
• CDDFuse: Correlation-Driven Dual-Branch Feature Decomposition for Multi-Modality Image Fusion [138.40422469153145]
  本稿では,CDDFuse(Relationed-Driven Feature Decomposition Fusion)ネットワークを提案する。 近赤外可視画像融合や医用画像融合など,複数の融合タスクにおいてCDDFuseが有望な結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-11-26T02:40:28Z)
• Interactive Feature Embedding for Infrared and Visible Image Fusion [94.77188069479155]
  赤外線と可視画像の融合のための一般的なディープラーニングに基づく手法は、情報保持のための教師なしのメカニズムに依存している。 赤外線および可視画像融合のための自己教師付き学習フレームワークに,インタラクティブな新たな特徴埋め込みを提案する。
  論文  参考訳（メタデータ） (2022-11-09T13:34:42Z)
• Infrared and Visible Image Fusion via Interactive Compensatory Attention Adversarial Learning [7.995162257955025]
  本稿では, 融合バランスを改善するために, 生成的対角訓練に基づく新しいエンド・ツー・エンド・モードを提案する。 特にジェネレータでは、トリプルパスを持つマルチレベルエンコーダデコーダネットワークを構築し、赤外線および可視経路を採用し、さらなる強度と情報勾配を提供する。 さらに、二重判別器は、融合した結果とソース画像の類似した分布を特定するように設計されており、生成器はよりバランスの取れた結果を生成するように最適化されている。
  論文  参考訳（メタデータ） (2022-03-29T08:28:14Z)
• Unsupervised Image Fusion Method based on Feature Mutual Mapping [16.64607158983448]
  上記の問題に対処するために,教師なし適応画像融合法を提案する。 入力元画像間の画素の接続を計測するグローバルマップを構築した。 本手法は視覚的知覚と客観的評価の両方において優れた性能を実現する。
  論文  参考訳（メタデータ） (2022-01-25T07:50:14Z)
• A Dual-branch Network for Infrared and Visible Image Fusion [20.15854042473049]
  高密度ブロックとGANに基づく新しい手法を提案する。 ネットワーク全体の各層に入力された画像可視光画像を直接挿入します。 提案手法により得られた融合画像は,複数の評価指標に基づいて良好なスコアが得られることを示す。
  論文  参考訳（メタデータ） (2021-01-24T04:18:32Z)
• When Image Decomposition Meets Deep Learning: A Novel Infrared and Visible Image Fusion Method [27.507158159317417]
  赤外線と可視光の融合は画像処理と画像強調においてホットな話題である。 本稿では,新しいデュアルストリーム自動エンコーダを用いた核融合ネットワークを提案する。
  論文  参考訳（メタデータ） (2020-09-02T19:32:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。