論文の概要: Implicit Neural Feature Fusion Function for Multispectral and Hyperspectral Image Fusion

• arxiv url: http://arxiv.org/abs/2307.07288v2
• Date: Sun, 29 Oct 2023 14:48:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-31 20:35:03.171705
• Title: Implicit Neural Feature Fusion Function for Multispectral and Hyperspectral Image Fusion
• Title（参考訳）: マルチスペクトラル・ハイパースペクトラル画像融合のための暗黙的ニューラル特徴融合関数
• Authors: ShangQi Deng, RuoCheng Wu, Liang-Jian Deng, Ran Ran, Gemine Vivone
• Abstract要約: MHIFは高分解能マルチスペクトル画像(HR-MSI)と高分解能ハイパースペクトル画像(LR-HSI)を融合して高分解能ハイパースペクトル画像(HR-HSI)を得るための実用的課題である。
• 参考スコア（独自算出の注目度）: 12.43436096160316
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multispectral and Hyperspectral Image Fusion (MHIF) is a practical task that aims to fuse a high-resolution multispectral image (HR-MSI) and a low-resolution hyperspectral image (LR-HSI) of the same scene to obtain a high-resolution hyperspectral image (HR-HSI). Benefiting from powerful inductive bias capability, CNN-based methods have achieved great success in the MHIF task. However, they lack certain interpretability and require convolution structures be stacked to enhance performance. Recently, Implicit Neural Representation (INR) has achieved good performance and interpretability in 2D tasks due to its ability to locally interpolate samples and utilize multimodal content such as pixels and coordinates. Although INR-based approaches show promise, they require extra construction of high-frequency information (\emph{e.g.,} positional encoding). In this paper, inspired by previous work of MHIF task, we realize that HR-MSI could serve as a high-frequency detail auxiliary input, leading us to propose a novel INR-based hyperspectral fusion function named Implicit Neural Feature Fusion Function (INF). As an elaborate structure, it solves the MHIF task and addresses deficiencies in the INR-based approaches. Specifically, our INF designs a Dual High-Frequency Fusion (DHFF) structure that obtains high-frequency information twice from HR-MSI and LR-HSI, then subtly fuses them with coordinate information. Moreover, the proposed INF incorporates a parameter-free method named INR with cosine similarity (INR-CS) that uses cosine similarity to generate local weights through feature vectors. Based on INF, we construct an Implicit Neural Fusion Network (INFN) that achieves state-of-the-art performance for MHIF tasks of two public datasets, \emph{i.e.,} CAVE and Harvard. The code will soon be made available on GitHub.
• Abstract（参考訳）: MHIFは高分解能マルチスペクトル画像(HR-MSI)と高分解能ハイパースペクトル画像(LR-HSI)を融合して高分解能ハイパースペクトル画像(HR-HSI)を得るための実用的課題である。 強力なインダクティブバイアス能力の恩恵を受け、cnnベースの手法はmhifタスクで大きな成功を収めた。 しかし、特定の解釈可能性がなく、性能を高めるために畳み込み構造を積み重ねる必要がある。 近年,Inlicit Neural Representation (INR) は,局所的にサンプルを補間し,画素や座標などのマルチモーダルコンテンツを利用する能力により,2次元タスクにおいて優れた性能と解釈性を実現している。 inrベースのアプローチは期待できるが、高周波情報(例えば位置符号化)を余分に構築する必要がある。 本稿では,従来のMHIFタスクの成果に触発されて,HR-MSIが高周波詳細補助入力として機能することを認識し,インプリシットニューラルフィーチャーフュージョン関数(INF)と呼ばれる新しいINRベースのハイパースペクトル融合関数を提案する。 精巧な構造として、MHIFタスクを解決し、INRベースのアプローチにおける欠陥に対処する。 具体的には,hr-msi と lr-hsi の2倍の高周波情報を得る2重高周波融合 (dhff) 構造の設計を行った。 さらに、提案したINFは、コサイン類似性を用いて特徴ベクトルを介して局所的な重みを生成する、コサイン類似性(INR-CS)を持つパラメータフリーなINRを組み込んだ。 INFに基づいて、我々は2つの公開データセットである \emph{i.e.,} CAVEとHarvardのMHIFタスクの最先端性能を実現するインプリシトニューラルネットワーク(INFN)を構築した。 コードは間もなくGitHubで公開される予定だ。

関連論文リスト

• Single-Layer Learnable Activation for Implicit Neural Representation (SL$^{2}$A-INR) [6.572456394600755]
  ニューラルネットワークを利用して、座標入力を対応する属性に変換するインプシット表現(INR)は、視覚関連領域において大きな進歩をもたらした。 SL$2$A-INR を単層学習可能なアクティベーション関数として提案し,従来の ReLU ベースの有効性を推し進める。 提案手法は,画像表現,3次元形状再構成,単一画像超解像,CT再構成,新しいビューなど,多様なタスクに優れる。
  論文  参考訳（メタデータ） (2024-09-17T02:02:15Z)
• CSAKD: Knowledge Distillation with Cross Self-Attention for Hyperspectral and Multispectral Image Fusion [9.3350274016294]
  本稿では, HR-MSI/LR-HSI融合のための新しい知識蒸留(KD)フレームワークを導入し, LR-HSIのSRを実現する。 LR-HSI と HR-MSI の空間的特徴表現とスペクトル的特徴表現をフル活用するために,我々は新しい自己認識(CSA)融合モジュールを提案する。 実験結果から,学生モデルがLR-HSI SRの性能に匹敵する結果を得た。
  論文  参考訳（メタデータ） (2024-06-28T05:25:57Z)
• Fourier-enhanced Implicit Neural Fusion Network for Multispectral and Hyperspectral Image Fusion [12.935592400092712]
  Inlicit Neural representations (INR) は様々な視覚関連領域において大きな進歩を遂げている。 INRは高周波情報を失う傾向があり、世界的な知覚能力の欠如に制限されている。 本稿では,MHIFタスク用に設計されたFourier-enhanced Implicit Neural Fusion Network (FeINFN)を紹介する。
  論文  参考訳（メタデータ） (2024-04-23T16:14:20Z)
• Hybrid Convolutional and Attention Network for Hyperspectral Image Denoising [54.110544509099526]
  ハイパースペクトル画像(HSI)は、ハイパースペクトルデータの効果的な解析と解釈に重要である。 ハイブリット・コンボリューション・アテンション・ネットワーク(HCANet)を提案する。 主流HSIデータセットに対する実験結果は,提案したHCANetの合理性と有効性を示している。
  論文  参考訳（メタデータ） (2024-03-15T07:18:43Z)
• ADASR: An Adversarial Auto-Augmentation Framework for Hyperspectral and Multispectral Data Fusion [54.668445421149364]
  HSI(Deep Learning-based Hyperspectral Image)は、HSI(Hyperspectral Image)とMSI(Multispectral Image)を深層ニューラルネットワーク(DNN)に融合させることにより、高空間分解能HSI(HR-HSI)を生成することを目的としている。 本稿では, HSI-MSI 融合のためのデータ多様性を向上するために, HSI-MSI サンプルペアの自動最適化と拡張を行う新しい逆自動データ拡張フレームワーク ADASR を提案する。
  論文  参考訳（メタデータ） (2023-10-11T07:30:37Z)
• Mutual-Guided Dynamic Network for Image Fusion [51.615598671899335]
  画像融合のための新しい相互誘導動的ネットワーク(MGDN)を提案する。 5つのベンチマークデータセットによる実験結果から,提案手法は4つの画像融合タスクにおいて既存手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-08-24T03:50:37Z)
• CDDFuse: Correlation-Driven Dual-Branch Feature Decomposition for Multi-Modality Image Fusion [138.40422469153145]
  本稿では,CDDFuse(Relationed-Driven Feature Decomposition Fusion)ネットワークを提案する。 近赤外可視画像融合や医用画像融合など,複数の融合タスクにおいてCDDFuseが有望な結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-11-26T02:40:28Z)
• Asymmetric CNN for image super-resolution [102.96131810686231]
  深層畳み込みニューラルネットワーク(CNN)は、過去5年間で低レベルビジョンに広く適用されています。 画像超解像のための非対称ブロック(AB)、mem?ory拡張ブロック(MEB)、高周波数特徴強調ブロック(HFFEB)からなる非対称CNN(ACNet)を提案する。 我々のACNetは、ブラインドノイズの単一画像超解像(SISR)、ブラインドSISR、ブラインドSISRを効果的に処理できる。
  論文  参考訳（メタデータ） (2021-03-25T07:10:46Z)
• Coupled Convolutional Neural Network with Adaptive Response Function Learning for Unsupervised Hyperspectral Super-Resolution [28.798775822331045]
  ハイパースペクトル超解像(Hyperspectral super- resolution)とは、高空間分解能と高スペクトル分解能の両方を持つ画像を生成するためにHSIとMSIを融合させることを指す。 本研究では,従来のPSFやSRF情報を使わずにHSI-MSI融合の問題を解く,教師なし深層学習に基づく融合法HyCoNetを提案する。
  論文  参考訳（メタデータ） (2020-07-28T06:17:02Z)
• Lightweight image super-resolution with enhanced CNN [82.36883027158308]
  強い表現力を持つ深部畳み込みニューラルネットワーク(CNN)は、単一画像超解像(SISR)において印象的な性能を達成した 情報抽出・拡張ブロック(IEEB)、再構築ブロック(RB)、情報精製ブロック(IRB)の3つの連続したサブブロックを持つ軽量拡張SR CNN(LESRCNN)を提案する。 IEEBは階層的低分解能(LR)特徴を抽出し、SISRの深い層上の浅い層の記憶能力を高めるために、得られた特徴を段階的に集約する。 RBはグローバルに拡散することで低周波特徴を高周波特徴に変換する
  論文  参考訳（メタデータ） (2020-07-08T18:03:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。