論文の概要: Learning a Graph Neural Network with Cross Modality Interaction for Image Fusion

• arxiv url: http://arxiv.org/abs/2308.03256v1
• Date: Mon, 7 Aug 2023 02:25:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-08 15:41:59.271569
• Title: Learning a Graph Neural Network with Cross Modality Interaction for Image Fusion
• Title（参考訳）: 画像融合のためのクロスモダリティインタラクションを用いたグラフニューラルネットワークの学習
• Authors: Jiawei Li, Jiansheng Chen, Jinyuan Liu, Huimin Ma
• Abstract要約: 近赤外・可視画像融合は、多モードイメージング技術の分野において、徐々に重要なフォークであることが証明されている。 本稿では,IGNetと呼ばれる,核融合のためのクロスモーダル間の対話型グラフニューラルネットワーク(GNN)アーキテクチャを提案する。 我々のIGNetは、平均2.59%のmAP@.5と7.77%のmIoUを検出およびセグメンテーションで、視覚的に魅力的な融合画像を生成することができる。
• 参考スコア（独自算出の注目度）: 23.296468921842948
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Infrared and visible image fusion has gradually proved to be a vital fork in the field of multi-modality imaging technologies. In recent developments, researchers not only focus on the quality of fused images but also evaluate their performance in downstream tasks. Nevertheless, the majority of methods seldom put their eyes on the mutual learning from different modalities, resulting in fused images lacking significant details and textures. To overcome this issue, we propose an interactive graph neural network (GNN)-based architecture between cross modality for fusion, called IGNet. Specifically, we first apply a multi-scale extractor to achieve shallow features, which are employed as the necessary input to build graph structures. Then, the graph interaction module can construct the extracted intermediate features of the infrared/visible branch into graph structures. Meanwhile, the graph structures of two branches interact for cross-modality and semantic learning, so that fused images can maintain the important feature expressions and enhance the performance of downstream tasks. Besides, the proposed leader nodes can improve information propagation in the same modality. Finally, we merge all graph features to get the fusion result. Extensive experiments on different datasets (TNO, MFNet and M3FD) demonstrate that our IGNet can generate visually appealing fused images while scoring averagely 2.59% mAP@.5 and 7.77% mIoU higher in detection and segmentation than the compared state-of-the-art methods. The source code of the proposed IGNet can be available at https://github.com/lok-18/IGNet.
• Abstract（参考訳）: 赤外線と可視光融合は、マルチモダリティイメージング技術の分野において、徐々に重要なフォークであることが証明されている。 近年の研究では、融合画像の品質だけでなく、下流タスクの性能評価にも注目が集まっている。 しかし、多くの手法は異なるモダリティから相互学習に目を向けることはめったになく、融合した画像は重要な詳細やテクスチャを欠いている。 この問題を解決するために、IGNetと呼ばれる融合のための相互モード間の対話型グラフニューラルネットワーク(GNN)アーキテクチャを提案する。 具体的には,まず,グラフ構造構築に必要な入力として,浅い特徴を実現するためにマルチスケール抽出器を適用する。 次に、グラフ相互作用モジュールは、赤外/可視分岐の抽出された中間特徴をグラフ構造に構築することができる。 一方、2つの枝のグラフ構造は相互モダリティと意味学習と相互作用するため、融合した画像は重要な特徴表現を維持し、下流タスクの性能を高めることができる。 また、提案するリーダノードは、同じモダリティで情報伝達を改善することができる。 最後に、すべてのグラフ機能をマージして、融合結果を得る。 異なるデータセット(TNO、MFNet、M3FD)の大規模な実験により、IGNetは平均2.59%のmAP@.5と7.77%のmIoUを、比較した最先端手法よりも高い精度で、視覚的に魅力的な融合画像を生成することができることを示した。 提案されたIGNetのソースコードはhttps://github.com/lok-18/IGNetで入手できる。

関連論文リスト

• Mew: Multiplexed Immunofluorescence Image Analysis through an Efficient Multiplex Network [84.88767228835928]
  マルチプレックスネットワークのレンズを通してmIF画像を効率的に処理する新しいフレームワークであるMewを紹介する。 Mew は、幾何学情報のための Voronoi ネットワークと、セルワイドの均一性を捉えるセル型ネットワークという、2つの異なる層からなる多重ネットワークを革新的に構築する。 このフレームワークは、トレーニング中にグラフ全体を処理できるスケーラブルで効率的なグラフニューラルネットワーク(GNN)を備えている。
  論文  参考訳（メタデータ） (2024-07-25T08:22:30Z)
• A Semantic-Aware and Multi-Guided Network for Infrared-Visible Image Fusion [41.34335755315773]
  マルチモダリティ画像融合は、2つのソース画像から特定のモダリティ情報と共有モダリティ情報を融合することを目的としている。 本稿では,3分岐エンコーダデコーダアーキテクチャと,それに対応する融合層を融合戦略として提案する。 可視・近赤外画像融合および医用画像融合タスクにおける最先端手法と比較して,本手法は競争力のある結果を得た。
  論文  参考訳（メタデータ） (2024-06-11T09:32:40Z)
• From Text to Pixels: A Context-Aware Semantic Synergy Solution for Infrared and Visible Image Fusion [66.33467192279514]
  我々は、テキスト記述から高レベルなセマンティクスを活用し、赤外線と可視画像のセマンティクスを統合するテキスト誘導多モード画像融合法を提案する。 本手法は,視覚的に優れた融合結果を生成するだけでなく,既存の手法よりも高い検出mAPを達成し,最先端の結果を得る。
  論文  参考訳（メタデータ） (2023-12-31T08:13:47Z)
• Graph Representation Learning for Infrared and Visible Image Fusion [19.756524363404534]
  赤外線と可視画像の融合は、単一の融合画像を合成するための補完的な特徴を抽出することを目的としている。 多くの手法では、局所的な特徴を抽出するために畳み込みニューラルネットワーク(CNN)を用いる。 CNNは画像の非局所的自己相似性(NLs)を考慮できない
  論文  参考訳（メタデータ） (2023-11-01T04:46:20Z)
• An Interactively Reinforced Paradigm for Joint Infrared-Visible Image Fusion and Saliency Object Detection [59.02821429555375]
  この研究は、野生の隠れた物体の発見と位置決めに焦点をあて、無人のシステムに役立てる。 経験的分析により、赤外線と可視画像融合(IVIF)は、難しい物体の発見を可能にする。 マルチモーダル・サリエント・オブジェクト検出(SOD)は、画像内の物体の正確な空間的位置を正確に記述する。
  論文  参考訳（メタデータ） (2023-05-17T06:48:35Z)
• CDDFuse: Correlation-Driven Dual-Branch Feature Decomposition for Multi-Modality Image Fusion [138.40422469153145]
  本稿では,CDDFuse(Relationed-Driven Feature Decomposition Fusion)ネットワークを提案する。 近赤外可視画像融合や医用画像融合など,複数の融合タスクにおいてCDDFuseが有望な結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-11-26T02:40:28Z)
• CoCoNet: Coupled Contrastive Learning Network with Multi-level Feature Ensemble for Multi-modality Image Fusion [72.8898811120795]
  我々は、赤外線と可視画像の融合を実現するために、CoCoNetと呼ばれるコントラスト学習ネットワークを提案する。 本手法は,主観的評価と客観的評価の両面において,最先端(SOTA)性能を実現する。
  論文  参考訳（メタデータ） (2022-11-20T12:02:07Z)
• Learnable Graph Convolutional Network and Feature Fusion for Multi-view Learning [30.74535386745822]
  本稿では,Learningable Graph Convolutional Network and Feature Fusion (LGCN-FF) と呼ばれる統合ディープラーニングフレームワークを提案する。 特徴融合ネットワークと学習可能なグラフ畳み込みネットワークの2つのステージで構成されている。 提案したLGCN-FFは,多視点半教師付き分類において,様々な最先端手法よりも優れていることが検証された。
  論文  参考訳（メタデータ） (2022-11-16T19:07:12Z)
• FuseVis: Interpreting neural networks for image fusion using per-pixel saliency visualization [10.156766309614113]
  教師なし学習に基づく畳み込みニューラルネットワーク(CNN)は、様々な種類の画像融合タスクに利用されている。 画像融合タスクにおけるこれらのCNNの信頼性を解析することは、根拠が得られないので困難である。 本稿では,FuseVisという新たなリアルタイム可視化ツールを提案する。
  論文  参考訳（メタデータ） (2020-12-06T10:03:02Z)
• Multi-hop Attention Graph Neural Network [70.21119504298078]
  マルチホップアテンショングラフニューラルネットワーク(MAGNA)は、マルチホップコンテキスト情報を注目計算のすべての層に組み込む方法である。 MAGNAは各層における大規模構造情報を捕捉し,低域効果によりグラフデータからノイズの多い高周波情報を除去することを示す。
  論文  参考訳（メタデータ） (2020-09-29T22:41:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。