論文の概要: Graph Representation Learning for Infrared and Visible Image Fusion
- arxiv url: http://arxiv.org/abs/2311.00291v1
- Date: Wed, 1 Nov 2023 04:46:20 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-02 14:43:25.702027
- Title: Graph Representation Learning for Infrared and Visible Image Fusion
- Title（参考訳）: 赤外・可視画像融合のためのグラフ表現学習
- Authors: Jing Li, Lu Bai, Bin Yang, Chang Li, Lingfei Ma, and Edwin R. Hancock
- Abstract要約: 赤外線と可視画像の融合は、単一の融合画像を合成するための補完的な特徴を抽出することを目的としている。
多くの手法では、局所的な特徴を抽出するために畳み込みニューラルネットワーク(CNN)を用いる。
CNNは画像の非局所的自己相似性(NLs)を考慮できない
- 参考スコア（独自算出の注目度）: 19.756524363404534
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Infrared and visible image fusion aims to extract complementary features to
synthesize a single fused image. Many methods employ convolutional neural
networks (CNNs) to extract local features due to its translation invariance and
locality. However, CNNs fail to consider the image's non-local self-similarity
(NLss), though it can expand the receptive field by pooling operations, it
still inevitably leads to information loss. In addition, the transformer
structure extracts long-range dependence by considering the correlativity among
all image patches, leading to information redundancy of such transformer-based
methods. However, graph representation is more flexible than grid (CNN) or
sequence (transformer structure) representation to address irregular objects,
and graph can also construct the relationships among the spatially repeatable
details or texture with far-space distance. Therefore, to address the above
issues, it is significant to convert images into the graph space and thus adopt
graph convolutional networks (GCNs) to extract NLss. This is because the graph
can provide a fine structure to aggregate features and propagate information
across the nearest vertices without introducing redundant information.
Concretely, we implement a cascaded NLss extraction pattern to extract NLss of
intra- and inter-modal by exploring interactions of different image pixels in
intra- and inter-image positional distance. We commence by preforming GCNs on
each intra-modal to aggregate features and propagate information to extract
independent intra-modal NLss. Then, GCNs are performed on the concatenate
intra-modal NLss features of infrared and visible images, which can explore the
cross-domain NLss of inter-modal to reconstruct the fused image. Ablation
studies and extensive experiments illustrates the effectiveness and superiority
of the proposed method on three datasets.
- Abstract（参考訳）: 赤外線および可視画像融合は、1つの融合画像を合成するために相補的な特徴を抽出することを目的としている。
多くの手法は畳み込みニューラルネットワーク(CNN)を用いて、翻訳不変性と局所性に起因する局所的特徴を抽出する。
しかし、CNNは画像の非局所的な自己相似性(NLss)を考慮することができず、操作をプールすることで受容領域を拡張することができるが、必然的に情報損失につながる。
さらに、変換器構造は、すべての画像パッチ間の相関性を考慮して長距離依存を抽出し、このような変換器方式の情報冗長性をもたらす。
しかしながら、グラフ表現は不規則なオブジェクトに対処するためにグリッド(cnn)やシーケンス(トランスフォーマー構造)表現よりも柔軟であり、グラフは空間的に再現可能な詳細や遠距離のテクスチャの関係も構築できる。
したがって、上記の問題に対処するためには、画像をグラフ空間に変換して、グラフ畳み込みネットワーク(GCN)を用いてNLを抽出することが重要である。
これは、グラフが冗長な情報を導入することなく、特徴を集約し、最寄りの頂点を横断する情報を伝達する詳細な構造を提供することができるためである。
具体的には、画像内および画像間距離の異なる画素間の相互作用を探索することにより、画像内および画像間距離のNLを抽出するカスケードNLss抽出パターンを実装した。
我々は,各モダルにGCNをプリフォームし,特徴を集約し,情報を伝達し,独立したモダル内NLを抽出することで開始する。
次に、GCNを赤外線および可視画像の連結したモード内NLs特性上で実行し、モダル間のクロスドメインNLsを探索して融合画像を再構成する。
アブレーション研究と広範囲な実験により、3つのデータセットに対する提案手法の有効性と優位性を示す。
関連論文リスト
- ASCNet: Asymmetric Sampling Correction Network for Infrared Image Destriping [26.460122241870696]
非対称サンプリング補正ネットワーク(ASCNet)と呼ばれる新しい赤外画像デストリップ手法を提案する。
我々のASCNetは、Residual Haar Discrete Wavelet Transform (RHDWT), Pixel Shuffle (PS), Column Non-uniformity Correction Module (CNCM)の3つのコア要素で構成されています。
論文 参考訳（メタデータ） (2024-01-28T06:23:55Z) - Distance Weighted Trans Network for Image Completion [52.318730994423106]
本稿では,DWT(Distance-based Weighted Transformer)を利用した画像コンポーネント間の関係をよりよく理解するためのアーキテクチャを提案する。
CNNは、粗い事前の局所的なテクスチャ情報を強化するために使用される。
DWTブロックは、特定の粗いテクスチャやコヒーレントな視覚構造を復元するために使用される。
論文 参考訳（メタデータ） (2023-10-11T12:46:11Z) - Mutual-Guided Dynamic Network for Image Fusion [51.615598671899335]
画像融合のための新しい相互誘導動的ネットワーク(MGDN)を提案する。
5つのベンチマークデータセットによる実験結果から,提案手法は4つの画像融合タスクにおいて既存手法よりも優れていることが示された。
論文 参考訳（メタデータ） (2023-08-24T03:50:37Z) - Learning a Graph Neural Network with Cross Modality Interaction for
Image Fusion [23.296468921842948]
近赤外・可視画像融合は、多モードイメージング技術の分野において、徐々に重要なフォークであることが証明されている。
本稿では,IGNetと呼ばれる,核融合のためのクロスモーダル間の対話型グラフニューラルネットワーク(GNN)アーキテクチャを提案する。
我々のIGNetは、平均2.59%のmAP@.5と7.77%のmIoUを検出およびセグメンテーションで、視覚的に魅力的な融合画像を生成することができる。
論文 参考訳（メタデータ） (2023-08-07T02:25:06Z) - Multi-view Graph Convolutional Networks with Differentiable Node
Selection [29.575611350389444]
差別化可能なノード選択(MGCN-DNS)を備えた多視点グラフ畳み込みネットワーク(Multi-view Graph Convolutional Network)を提案する。
MGCN-DNSは、マルチチャネルグラフ構造データを入力として受け入れ、微分可能なニューラルネットワークを通じてより堅牢なグラフ融合を学ぶことを目的としている。
提案手法の有効性は,最先端手法と厳密な比較により検証した。
論文 参考訳（メタデータ） (2022-12-09T21:48:36Z) - Two-Stream Graph Convolutional Network for Intra-oral Scanner Image
Segmentation [133.02190910009384]
本稿では,2ストリームグラフ畳み込みネットワーク(TSGCN)を提案する。
TSGCNは3次元歯(表面)セグメンテーションにおいて最先端の方法よりも優れています。
論文 参考訳（メタデータ） (2022-04-19T10:41:09Z) - Feature transforms for image data augmentation [74.12025519234153]
画像分類において、多くの拡張アプローチは単純な画像操作アルゴリズムを利用する。
本研究では,14種類の拡張アプローチを組み合わせて生成した画像を追加することで,データレベルでのアンサンブルを構築する。
事前トレーニングされたResNet50ネットワークは、各拡張メソッドから派生した画像を含むトレーニングセットに基づいて微調整される。
論文 参考訳（メタデータ） (2022-01-24T14:12:29Z) - An attention-driven hierarchical multi-scale representation for visual
recognition [3.3302293148249125]
畳み込みニューラルネットワーク(CNN)は、視覚内容の理解に革命をもたらした。
グラフ畳み込みネットワーク(GCN)を探索することにより,高レベルの長距離依存関係を捕捉する手法を提案する。
本手法は,細粒度と総称的な視覚的分類の両問題を解くのに極めて効果的である。
論文 参考訳（メタデータ） (2021-10-23T09:22:22Z) - RSI-Net: Two-Stream Deep Neural Network Integrating GCN and Atrous CNN
for Semantic Segmentation of High-resolution Remote Sensing Images [3.468780866037609]
本稿では,リモートセンシング画像(RSI-Net)のセマンティックセグメンテーションのための2ストリームディープニューラルネットワークを提案する。
実験はVayhingen、Potsdam、Gaofen RSIデータセットで実施されている。
その結果,6つの最先端RSIセマンティックセグメンテーション法と比較して,総合的精度,F1スコア,カッパ係数において,RSI-Netの優れた性能を示した。
論文 参考訳（メタデータ） (2021-09-19T15:57:20Z) - Spectral-Spatial Global Graph Reasoning for Hyperspectral Image
Classification [50.899576891296235]
畳み込みニューラルネットワークは、ハイパースペクトル画像分類に広く応用されている。
近年の手法は空間トポロジのグラフ畳み込みによってこの問題に対処しようとしている。
論文 参考訳（メタデータ） (2021-06-26T06:24:51Z) - Multi-Level Graph Convolutional Network with Automatic Graph Learning
for Hyperspectral Image Classification [63.56018768401328]
HSI分類のための自動グラフ学習法(MGCN-AGL)を用いたマルチレベルグラフ畳み込みネットワーク(GCN)を提案する。
空間的に隣接する領域における重要度を特徴付けるために注意機構を利用することで、最も関連性の高い情報を適応的に組み込んで意思決定を行うことができる。
MGCN-AGLは局所的に生成した表現表現に基づいて画像領域間の長距離依存性を符号化する。
論文 参考訳（メタデータ） (2020-09-19T09:26:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。