論文の概要: Unsupervised Image Fusion Method based on Feature Mutual Mapping

• arxiv url: http://arxiv.org/abs/2201.10152v1
• Date: Tue, 25 Jan 2022 07:50:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-26 15:39:32.641879
• Title: Unsupervised Image Fusion Method based on Feature Mutual Mapping
• Title（参考訳）: 特徴相互マッピングに基づく教師なし画像融合法
• Authors: Dongyu Rao, Xiao-Jun Wu, Tianyang Xu, Guoyang Chen
• Abstract要約: 上記の問題に対処するために,教師なし適応画像融合法を提案する。 入力元画像間の画素の接続を計測するグローバルマップを構築した。 本手法は視覚的知覚と客観的評価の両方において優れた性能を実現する。
• 参考スコア（独自算出の注目度）: 16.64607158983448
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning-based image fusion approaches have obtained wide attention in recent years, achieving promising performance in terms of visual perception. However, the fusion module in the current deep learning-based methods suffers from two limitations, \textit{i.e.}, manually designed fusion function, and input-independent network learning. In this paper, we propose an unsupervised adaptive image fusion method to address the above issues. We propose a feature mutual mapping fusion module and dual-branch multi-scale autoencoder. More specifically, we construct a global map to measure the connections of pixels between the input source images. % The found mapping relationship guides the image fusion. Besides, we design a dual-branch multi-scale network through sampling transformation to extract discriminative image features. We further enrich feature representations of different scales through feature aggregation in the decoding process. Finally, we propose a modified loss function to train the network with efficient convergence property. Through sufficient training on infrared and visible image data sets, our method also shows excellent generalized performance in multi-focus and medical image fusion. Our method achieves superior performance in both visual perception and objective evaluation. Experiments prove that the performance of our proposed method on a variety of image fusion tasks surpasses other state-of-the-art methods, proving the effectiveness and versatility of our approach.
• Abstract（参考訳）: 近年,深層学習に基づく画像融合手法が注目され,視覚的知覚の面で有望な性能を実現している。 しかし、現在の深層学習法における融合モジュールには、‘textit{i.e.}’、手動で設計した融合関数、入力に依存しないネットワーク学習という2つの制限がある。 本稿では,上記の問題に対処するために,教師なし適応画像融合法を提案する。 本稿では,機能相互マッピング融合モジュールとデュアルブランチマルチスケールオートエンコーダを提案する。 より具体的には、入力元画像間のピクセルの接続を測定するためにグローバルマップを構築する。 %のマッピング関係が画像融合を導く。 さらに,画像の特徴を抽出するサンプリング変換により,二分岐型マルチスケールネットワークを設計する。 復号処理における特徴集約を通じて、異なるスケールの特徴表現をさらに強化する。 最後に,効率的な収束特性でネットワークを訓練するための修正損失関数を提案する。 赤外線および可視画像データセットの十分なトレーニングにより,マルチフォーカスおよび医用画像融合において優れた汎用性能を示す。 本手法は視知覚と客観的評価の両方において優れた性能を実現する。 実験により,様々な画像融合タスクにおける提案手法の性能は他の最先端手法を上回っており,提案手法の有効性と汎用性が証明された。

関連論文リスト

• Fusion from Decomposition: A Self-Supervised Approach for Image Fusion and Beyond [74.96466744512992]
  画像融合の本質は、ソース画像からの相補的な情報を統合することである。 DeFusion++は、画像融合の品質を高め、下流の高レベル視覚タスクの有効性を高める、汎用的な融合表現を生成する。
  論文  参考訳（メタデータ） (2024-10-16T06:28:49Z)
• From Text to Pixels: A Context-Aware Semantic Synergy Solution for Infrared and Visible Image Fusion [66.33467192279514]
  我々は、テキスト記述から高レベルなセマンティクスを活用し、赤外線と可視画像のセマンティクスを統合するテキスト誘導多モード画像融合法を提案する。 本手法は,視覚的に優れた融合結果を生成するだけでなく,既存の手法よりも高い検出mAPを達成し,最先端の結果を得る。
  論文  参考訳（メタデータ） (2023-12-31T08:13:47Z)
• A Task-guided, Implicitly-searched and Meta-initialized Deep Model for Image Fusion [69.10255211811007]
  本稿では,課題の多い現実シナリオにおいて,画像融合問題に対処するためのタスク誘導,インプリシト検索,メタ一般化(TIM)深層モデルを提案する。 具体的には、画像融合の教師なし学習プロセスを導くために、下流タスクからの情報を組み込む制約付き戦略を提案する。 このフレームワーク内に暗黙の探索スキームを設計し、高速な融合モデルのためのコンパクトなアーキテクチャを自動で発見する。
  論文  参考訳（メタデータ） (2023-05-25T08:54:08Z)
• Bi-level Dynamic Learning for Jointly Multi-modality Image Fusion and Beyond [50.556961575275345]
  補完特性とカスケード二重タスク関連モジュールを融合する画像融合モジュールを構築した。 本研究では, 高速な1次近似により対応する勾配を計算し, 融合学習のための勾配のバランスをとるための動的重み付けアグリゲーションを提案する。
  論文  参考訳（メタデータ） (2023-05-11T10:55:34Z)
• LRRNet: A Novel Representation Learning Guided Fusion Network for Infrared and Visible Images [98.36300655482196]
  我々は,融合タスクを数学的に定式化し,その最適解とそれを実装可能なネットワークアーキテクチャとの接続を確立する。 特に、融合タスクに学習可能な表現アプローチを採用し、融合ネットワークアーキテクチャの構築は学習可能なモデルを生成する最適化アルゴリズムによって導かれる。 この新しいネットワークアーキテクチャに基づいて、赤外線および可視光画像を融合するために、エンドツーエンドの軽量核融合ネットワークを構築する。
  論文  参考訳（メタデータ） (2023-04-11T12:11:23Z)
• CoCoNet: Coupled Contrastive Learning Network with Multi-level Feature Ensemble for Multi-modality Image Fusion [72.8898811120795]
  我々は、赤外線と可視画像の融合を実現するために、CoCoNetと呼ばれるコントラスト学習ネットワークを提案する。 本手法は,主観的評価と客観的評価の両面において,最先端(SOTA)性能を実現する。
  論文  参考訳（メタデータ） (2022-11-20T12:02:07Z)
• TransFuse: A Unified Transformer-based Image Fusion Framework using Self-supervised Learning [5.849513679510834]
  画像融合(英: Image fusion)とは、複数のソース画像からの情報を補完情報と統合し、単一の画像の豊かさを改善する技術である。 2段階の手法では、大規模な自然言語データセット上でエンコーダ・デコーダネットワークをトレーニングすることで、タスク固有の大量のトレーニングデータの必要性を回避する。 本稿では, ネットワークがタスク固有の特徴を学習することを奨励する, 破壊再構成に基づく自己指導型学習手法を提案する。
  論文  参考訳（メタデータ） (2022-01-19T07:30:44Z)
• Cross-modal Image Retrieval with Deep Mutual Information Maximization [14.778158582349137]
  本研究では,入力にソース画像を含むクロスモーダル画像検索と,その画像と所望の画像の修正を記述したテキストについて検討する。 本手法は, テキストモダリティと画像モダリティのモダリティギャップを狭め, 意味的には同一でない表現間の相互情報を最大化する。
  論文  参考訳（メタデータ） (2021-03-10T13:08:09Z)
• End-to-End Learning for Simultaneously Generating Decision Map and Multi-Focus Image Fusion Result [7.564462759345851]
  多焦点画像融合の目的は、異なる画像の集中領域を集め、ユニークな全焦点融合画像を生成することである。 既存のディープラーニング構造のほとんどは、融合品質とエンドツーエンドの実装の利便性のバランスが取れなかった。 本稿では,決定マップと融合した結果をエンドツーエンドのトレーニング手順で同時に生成するカスケードネットワークを提案する。
  論文  参考訳（メタデータ） (2020-10-17T09:09:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。