論文の概要: MATCNN: Infrared and Visible Image Fusion Method Based on Multi-scale CNN with Attention Transformer

• arxiv url: http://arxiv.org/abs/2502.01959v1
• Date: Tue, 04 Feb 2025 03:09:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 14:59:07.576633
• Title: MATCNN: Infrared and Visible Image Fusion Method Based on Multi-scale CNN with Attention Transformer
• Title（参考訳）: MATCNN:アテンショントランスを用いたマルチスケールCNNを用いた赤外線・可視画像融合法
• Authors: Jingjing Liu, Li Zhang, Xiaoyang Zeng, Wanquan Liu, Jianhua Zhang,
• Abstract要約: 本稿では,アテンショントランスフォーマを用いたマルチスケール畳み込みニューラルネットワーク(MATCNN)に基づく,新しいクロスモーダル画像融合手法を提案する。 MATCNNは、MSFM(Multi-scale fusion Module)を用いて異なるスケールで局所的特徴を抽出し、グローバル特徴抽出モジュール(GFEM)を用いてグローバル特徴を抽出する。 情報マスクを用いて画像内の関連する詳細をラベル付けし、融合画像中の可視画像における赤外線画像および背景テクスチャにおける重要な情報保存の比率を高める。
• 参考スコア（独自算出の注目度）: 21.603763071331667
• License:
• Abstract: While attention-based approaches have shown considerable progress in enhancing image fusion and addressing the challenges posed by long-range feature dependencies, their efficacy in capturing local features is compromised by the lack of diverse receptive field extraction techniques. To overcome the shortcomings of existing fusion methods in extracting multi-scale local features and preserving global features, this paper proposes a novel cross-modal image fusion approach based on a multi-scale convolutional neural network with attention Transformer (MATCNN). MATCNN utilizes the multi-scale fusion module (MSFM) to extract local features at different scales and employs the global feature extraction module (GFEM) to extract global features. Combining the two reduces the loss of detail features and improves the ability of global feature representation. Simultaneously, an information mask is used to label pertinent details within the images, aiming to enhance the proportion of preserving significant information in infrared images and background textures in visible images in fused images. Subsequently, a novel optimization algorithm is developed, leveraging the mask to guide feature extraction through the integration of content, structural similarity index measurement, and global feature loss. Quantitative and qualitative evaluations are conducted across various datasets, revealing that MATCNN effectively highlights infrared salient targets, preserves additional details in visible images, and achieves better fusion results for cross-modal images. The code of MATCNN will be available at https://github.com/zhang3849/MATCNN.git.
• Abstract（参考訳）: 注意に基づくアプローチは、画像融合の促進と長距離特徴依存による課題への対処においてかなりの進歩を見せているが、その局所特徴の捕捉における有効性は、多様な受容的フィールド抽出技術が欠如していることによって損なわれている。 本稿では,マルチスケール局所特徴抽出とグローバル特徴保存における既存の融合手法の欠点を克服するため,マルチスケール畳み込みニューラルネットワーク(MATCNN)を用いた新たな画像融合手法を提案する。 MATCNNは、MSFM(Multi-scale fusion Module)を用いて異なるスケールで局所的特徴を抽出し、グローバル特徴抽出モジュール(GFEM)を用いてグローバル特徴を抽出する。 この2つを組み合わせることで、詳細機能の喪失が軽減され、グローバルな特徴表現の能力が改善される。 同時に、情報マスクを用いて画像内の関連する詳細をラベル付けし、融合画像の可視画像における赤外線画像や背景テクスチャにおける重要な情報保存の比率を高める。 その後、マスクを利用してコンテンツの統合、構造的類似度指数測定、グローバルな特徴損失を導出する新しい最適化アルゴリズムを開発した。 定量的、質的な評価は、様々なデータセットで行われ、MATCNNは、効果的に赤外線の塩分目標を強調し、可視画像のさらなる詳細を保存し、クロスモーダル画像の融合結果を改善する。 MATCNNのコードはhttps://github.com/zhang3849/MATCNN.gitで入手できる。

関連論文リスト

• Multi-Head Attention Residual Unfolded Network for Model-Based Pansharpening [2.874893537471256]
  展開融合法は、ディープラーニングの強力な表現能力とモデルベースアプローチの堅牢性を統合する。 本稿では,衛星画像融合のためのモデルに基づく深部展開手法を提案する。 PRISMA、Quickbird、WorldView2データセットの実験結果から、本手法の優れた性能が示された。
  論文  参考訳（メタデータ） (2024-09-04T13:05:00Z)
• MaeFuse: Transferring Omni Features with Pretrained Masked Autoencoders for Infrared and Visible Image Fusion via Guided Training [95.24751989263117]
  MaeFuseは、赤外線および可視画像融合(IVIF)用に設計された新しいオートエンコーダモデルである。 提案モデルでは,MAE(Masked Autoencoders)の事前訓練エンコーダを用いて,低レベル再構成と高レベル視覚タスクのためのオムニ特徴抽出機能を備えている。 MaeFuseは、融合技術という領域で新しい視点を導入するだけでなく、様々な公開データセットで顕著なパフォーマンスで際立っている。
  論文  参考訳（メタデータ） (2024-04-17T02:47:39Z)
• Mutual-Guided Dynamic Network for Image Fusion [51.615598671899335]
  画像融合のための新しい相互誘導動的ネットワーク(MGDN)を提案する。 5つのベンチマークデータセットによる実験結果から,提案手法は4つの画像融合タスクにおいて既存手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-08-24T03:50:37Z)
• CDDFuse: Correlation-Driven Dual-Branch Feature Decomposition for Multi-Modality Image Fusion [138.40422469153145]
  本稿では,CDDFuse(Relationed-Driven Feature Decomposition Fusion)ネットワークを提案する。 近赤外可視画像融合や医用画像融合など,複数の融合タスクにおいてCDDFuseが有望な結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-11-26T02:40:28Z)
• CoCoNet: Coupled Contrastive Learning Network with Multi-level Feature Ensemble for Multi-modality Image Fusion [68.78897015832113]
  我々は、赤外線と可視画像の融合を実現するために、CoCoNetと呼ばれるコントラスト学習ネットワークを提案する。 本手法は,主観的評価と客観的評価の両面において,最先端(SOTA)性能を実現する。
  論文  参考訳（メタデータ） (2022-11-20T12:02:07Z)
• Semantic Labeling of High Resolution Images Using EfficientUNets and Transformers [5.177947445379688]
  畳み込みニューラルネットワークとディープトランスを組み合わせた新しいセグメンテーションモデルを提案する。 提案手法は,最先端技術と比較してセグメント化精度が向上することを示す。
  論文  参考訳（メタデータ） (2022-06-20T12:03:54Z)
• Learning Enriched Features for Fast Image Restoration and Enhancement [166.17296369600774]
  本稿では,ネットワーク全体を通して空間的精度の高い高解像度表現を維持することを目的とする。 我々は、高解像度の空間的詳細を同時に保存しながら、複数のスケールからの文脈情報を組み合わせた豊富な特徴集合を学習する。 提案手法は,デフォーカス・デブロアリング,画像デノイング,超解像,画像強調など,さまざまな画像処理タスクに対して,最先端の処理結果を実現する。
  論文  参考訳（メタデータ） (2022-04-19T17:59:45Z)
• Inertial Sensor Data To Image Encoding For Human Action Recognition [0.0]
  畳み込みニューラルネットワーク(CNN)は、コンピュータビジョンの分野で成功したディープラーニングモデルである。 本稿では,慣性センサデータから活動画像への変換に4種類の空間領域法を用いる。 マルチモーダル・フュージョン・フレームワークを構築するために,2つの空間領域フィルタを結合して各種類のアクティビティ・イメージをマルチモーダル化した。
  論文  参考訳（メタデータ） (2021-05-28T01:22:52Z)
• Learning Enriched Features for Real Image Restoration and Enhancement [166.17296369600774]
  畳み込みニューラルネットワーク(CNN)は、画像復元作業における従来のアプローチよりも劇的に改善されている。 ネットワーク全体を通して空間的精度の高い高解像度表現を維持することを目的とした,新しいアーキテクチャを提案する。 提案手法は,高解像度の空間的詳細を同時に保存しながら,複数のスケールからの文脈情報を組み合わせた豊富な特徴集合を学習する。
  論文  参考訳（メタデータ） (2020-03-15T11:04:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。