論文の概要: AE-Net: Autonomous Evolution Image Fusion Method Inspired by Human Cognitive Mechanism

• arxiv url: http://arxiv.org/abs/2007.08763v1
• Date: Fri, 17 Jul 2020 05:19:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-09 13:58:03.243121
• Title: AE-Net: Autonomous Evolution Image Fusion Method Inspired by Human Cognitive Mechanism
• Title（参考訳）: AE-Net:人間の認知メカニズムに触発された自律的進化画像融合法
• Authors: Aiqing Fang, Xinbo Zhao, Jiaqi Yang, Shihao Cao, Yanning Zhang
• Abstract要約: AE-Netで表される自律的な進化能力を持つ頑健で汎用的な画像融合法を提案する。 人間の脳の認知過程をシミュレートする複数の画像融合法の協調最適化により、教師なし学習画像融合タスクを半教師付き画像融合タスクまたは教師付き画像融合タスクに変換することができる。 画像融合法は, 画像融合タスクと画像融合タスクを効果的に統合し, 異なるデータセット間のデータ分布の違いを効果的に克服することができる。
• 参考スコア（独自算出の注目度）: 34.57055312296812
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In order to solve the robustness and generality problems of the image fusion task,inspired by the human brain cognitive mechanism, we propose a robust and general image fusion method with autonomous evolution ability, and is therefore denoted with AE-Net. Through the collaborative optimization of multiple image fusion methods to simulate the cognitive process of human brain, unsupervised learning image fusion task can be transformed into semi-supervised image fusion task or supervised image fusion task, thus promoting the evolutionary ability of network model weight. Firstly, the relationship between human brain cognitive mechanism and image fusion task is analyzed and a physical model is established to simulate human brain cognitive mechanism. Secondly, we analyze existing image fusion methods and image fusion loss functions, select the image fusion method with complementary features to construct the algorithm module, establish the multi-loss joint evaluation function to obtain the optimal solution of algorithm module. The optimal solution of each image is used to guide the weight training of network model. Our image fusion method can effectively unify the cross-modal image fusion task and the same modal image fusion task, and effectively overcome the difference of data distribution between different datasets. Finally, extensive numerical results verify the effectiveness and superiority of our method on a variety of image fusion datasets, including multi-focus dataset, infrared and visi-ble dataset, medical image dataset and multi-exposure dataset. Comprehensive experiments demonstrate the superiority of our image fusion method in robustness and generality. In addition, experimental results also demonstate the effectiveness of human brain cognitive mechanism to improve the robustness and generality of image fusion.
• Abstract（参考訳）: 人間の脳認知機構に触発された画像融合タスクの堅牢性と一般性問題を解決するために,自律的な進化能力を持つ頑健で汎用的な画像融合手法を提案し,AE-Netで表現する。 人間の脳の認知過程をシミュレートする複数の画像融合法の協調的最適化により、非教師あり学習画像融合タスクを半教師あり画像融合タスクまたは教師あり画像融合タスクに変換し、ネットワークモデル重みの進化能力を促進することができる。 まず、人間の脳認知機構と画像融合タスクの関係を分析し、人間の脳認知機構をシミュレートする物理モデルを構築した。 次に,既存の画像融合法と画像融合損失関数を分析し,相補的な特徴を持つ画像融合法を選択し,アルゴリズムモジュールを構築し,マルチロス共同評価関数を確立し,アルゴリズムモジュールの最適解を得る。 各画像の最適解は、ネットワークモデルの重量トレーニングを導くために使用される。 画像融合法は, 画像融合タスクと画像融合タスクを効果的に統合し, 異なるデータセット間のデータ分布の違いを効果的に克服することができる。 最後に,マルチフォーカスデータセット,赤外線およびビシブルデータセット,医用画像データセット,マルチエクスプロイアデータセットなど,様々な画像融合データセットにおいて,本手法の有効性と優位性を検証する。 総合実験により, 画像融合法が強靭性と汎用性に優れていることを示す。 さらに、実験結果は、画像融合の堅牢性と汎用性を改善するための人間の脳認知メカニズムの有効性を実証する。

関連論文リスト

• Fusion from Decomposition: A Self-Supervised Approach for Image Fusion and Beyond [74.96466744512992]
  画像融合の本質は、ソース画像からの相補的な情報を統合することである。 DeFusion++は、画像融合の品質を高め、下流の高レベル視覚タスクの有効性を高める、汎用的な融合表現を生成する。
  論文  参考訳（メタデータ） (2024-10-16T06:28:49Z)
• From Text to Pixels: A Context-Aware Semantic Synergy Solution for Infrared and Visible Image Fusion [66.33467192279514]
  我々は、テキスト記述から高レベルなセマンティクスを活用し、赤外線と可視画像のセマンティクスを統合するテキスト誘導多モード画像融合法を提案する。 本手法は,視覚的に優れた融合結果を生成するだけでなく,既存の手法よりも高い検出mAPを達成し,最先端の結果を得る。
  論文  参考訳（メタデータ） (2023-12-31T08:13:47Z)
• A Task-guided, Implicitly-searched and Meta-initialized Deep Model for Image Fusion [69.10255211811007]
  本稿では,課題の多い現実シナリオにおいて,画像融合問題に対処するためのタスク誘導,インプリシト検索,メタ一般化(TIM)深層モデルを提案する。 具体的には、画像融合の教師なし学習プロセスを導くために、下流タスクからの情報を組み込む制約付き戦略を提案する。 このフレームワーク内に暗黙の探索スキームを設計し、高速な融合モデルのためのコンパクトなアーキテクチャを自動で発見する。
  論文  参考訳（メタデータ） (2023-05-25T08:54:08Z)
• Equivariant Multi-Modality Image Fusion [124.11300001864579]
  エンドツーエンドの自己教師型学習のための同変多モードImAge融合パラダイムを提案する。 我々のアプローチは、自然画像応答が特定の変換に等しくなるという以前の知識に根ざしている。 実験により、EMMAは赤外線可視画像と医用画像に高品質な融合結果をもたらすことが確認された。
  論文  参考訳（メタデータ） (2023-05-19T05:50:24Z)
• DDFM: Denoising Diffusion Model for Multi-Modality Image Fusion [144.9653045465908]
  拡散確率モデル(DDPM)に基づく新しい融合アルゴリズムを提案する。 近赤外可視画像融合と医用画像融合で有望な融合が得られた。
  論文  参考訳（メタデータ） (2023-03-13T04:06:42Z)
• CoCoNet: Coupled Contrastive Learning Network with Multi-level Feature Ensemble for Multi-modality Image Fusion [72.8898811120795]
  我々は、赤外線と可視画像の融合を実現するために、CoCoNetと呼ばれるコントラスト学習ネットワークを提案する。 本手法は,主観的評価と客観的評価の両面において,最先端(SOTA)性能を実現する。
  論文  参考訳（メタデータ） (2022-11-20T12:02:07Z)
• Unsupervised Image Fusion Method based on Feature Mutual Mapping [16.64607158983448]
  上記の問題に対処するために,教師なし適応画像融合法を提案する。 入力元画像間の画素の接続を計測するグローバルマップを構築した。 本手法は視覚的知覚と客観的評価の両方において優れた性能を実現する。
  論文  参考訳（メタデータ） (2022-01-25T07:50:14Z)
• TransFuse: A Unified Transformer-based Image Fusion Framework using Self-supervised Learning [5.849513679510834]
  画像融合(英: Image fusion)とは、複数のソース画像からの情報を補完情報と統合し、単一の画像の豊かさを改善する技術である。 2段階の手法では、大規模な自然言語データセット上でエンコーダ・デコーダネットワークをトレーニングすることで、タスク固有の大量のトレーニングデータの必要性を回避する。 本稿では, ネットワークがタスク固有の特徴を学習することを奨励する, 破壊再構成に基づく自己指導型学習手法を提案する。
  論文  参考訳（メタデータ） (2022-01-19T07:30:44Z)
• AE-Netv2: Optimization of Image Fusion Efficiency and Network Architecture [34.57055312296812]
  AE-Netv2に埋もれたテキスト効率の自律的進化画像融合法を提案する。 本稿では,異なるネットワークアーキテクチャが画像融合品質と融合効率に与える影響について論じる。 画像融合の分野における人間の脳の継続的な学習特性のさらなる研究の基盤となる画像融合タスクの共通性と特徴について検討する。
  論文  参考訳（メタデータ） (2020-10-05T08:58:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。