論文の概要: Implicit Neural Feature Fusion Function for Multispectral and
Hyperspectral Image Fusion
- arxiv url: http://arxiv.org/abs/2307.07288v2
- Date: Sun, 29 Oct 2023 14:48:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-31 20:35:03.171705
- Title: Implicit Neural Feature Fusion Function for Multispectral and
Hyperspectral Image Fusion
- Title(参考訳): マルチスペクトラル・ハイパースペクトラル画像融合のための暗黙的ニューラル特徴融合関数
- Authors: ShangQi Deng, RuoCheng Wu, Liang-Jian Deng, Ran Ran, Gemine Vivone
- Abstract要約: MHIFは高分解能マルチスペクトル画像(HR-MSI)と高分解能ハイパースペクトル画像(LR-HSI)を融合して高分解能ハイパースペクトル画像(HR-HSI)を得るための実用的課題である。
- 参考スコア(独自算出の注目度): 12.43436096160316
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multispectral and Hyperspectral Image Fusion (MHIF) is a practical task that
aims to fuse a high-resolution multispectral image (HR-MSI) and a
low-resolution hyperspectral image (LR-HSI) of the same scene to obtain a
high-resolution hyperspectral image (HR-HSI). Benefiting from powerful
inductive bias capability, CNN-based methods have achieved great success in the
MHIF task. However, they lack certain interpretability and require convolution
structures be stacked to enhance performance. Recently, Implicit Neural
Representation (INR) has achieved good performance and interpretability in 2D
tasks due to its ability to locally interpolate samples and utilize multimodal
content such as pixels and coordinates. Although INR-based approaches show
promise, they require extra construction of high-frequency information
(\emph{e.g.,} positional encoding). In this paper, inspired by previous work of
MHIF task, we realize that HR-MSI could serve as a high-frequency detail
auxiliary input, leading us to propose a novel INR-based hyperspectral fusion
function named Implicit Neural Feature Fusion Function (INF). As an elaborate
structure, it solves the MHIF task and addresses deficiencies in the INR-based
approaches. Specifically, our INF designs a Dual High-Frequency Fusion (DHFF)
structure that obtains high-frequency information twice from HR-MSI and LR-HSI,
then subtly fuses them with coordinate information. Moreover, the proposed INF
incorporates a parameter-free method named INR with cosine similarity (INR-CS)
that uses cosine similarity to generate local weights through feature vectors.
Based on INF, we construct an Implicit Neural Fusion Network (INFN) that
achieves state-of-the-art performance for MHIF tasks of two public datasets,
\emph{i.e.,} CAVE and Harvard. The code will soon be made available on GitHub.
- Abstract(参考訳): MHIFは高分解能マルチスペクトル画像(HR-MSI)と高分解能ハイパースペクトル画像(LR-HSI)を融合して高分解能ハイパースペクトル画像(HR-HSI)を得るための実用的課題である。
強力なインダクティブバイアス能力の恩恵を受け、cnnベースの手法はmhifタスクで大きな成功を収めた。
しかし、特定の解釈可能性がなく、性能を高めるために畳み込み構造を積み重ねる必要がある。
近年,Inlicit Neural Representation (INR) は,局所的にサンプルを補間し,画素や座標などのマルチモーダルコンテンツを利用する能力により,2次元タスクにおいて優れた性能と解釈性を実現している。
inrベースのアプローチは期待できるが、高周波情報(例えば位置符号化)を余分に構築する必要がある。
本稿では,従来のMHIFタスクの成果に触発されて,HR-MSIが高周波詳細補助入力として機能することを認識し,インプリシットニューラルフィーチャーフュージョン関数(INF)と呼ばれる新しいINRベースのハイパースペクトル融合関数を提案する。
精巧な構造として、MHIFタスクを解決し、INRベースのアプローチにおける欠陥に対処する。
具体的には,hr-msi と lr-hsi の2倍の高周波情報を得る2重高周波融合 (dhff) 構造の設計を行った。
さらに、提案したINFは、コサイン類似性を用いて特徴ベクトルを介して局所的な重みを生成する、コサイン類似性(INR-CS)を持つパラメータフリーなINRを組み込んだ。
INFに基づいて、我々は2つの公開データセットである \emph{i.e.,} CAVEとHarvardのMHIFタスクの最先端性能を実現するインプリシトニューラルネットワーク(INFN)を構築した。
コードは間もなくGitHubで公開される予定だ。
関連論文リスト
- ADASR: An Adversarial Auto-Augmentation Framework for Hyperspectral and
Multispectral Data Fusion [54.668445421149364]
HSI(Deep Learning-based Hyperspectral Image)は、HSI(Hyperspectral Image)とMSI(Multispectral Image)を深層ニューラルネットワーク(DNN)に融合させることにより、高空間分解能HSI(HR-HSI)を生成することを目的としている。
本稿では, HSI-MSI 融合のためのデータ多様性を向上するために, HSI-MSI サンプルペアの自動最適化と拡張を行う新しい逆自動データ拡張フレームワーク ADASR を提案する。
論文 参考訳(メタデータ) (2023-10-11T07:30:37Z) - Multi-Depth Branch Network for Efficient Image Super-Resolution [12.042706918188566]
超解像(SR)における長年の課題は、低解像(LR)の高頻度細部を効率的に拡張する方法である。
MDBM(Multi-Depth Branch Module)を特徴とする非対称SRアーキテクチャを提案する。
MDBMには異なる深さの枝があり、高い周波数と低周波の情報を同時に、効率的に捉えるように設計されている。
論文 参考訳(メタデータ) (2023-09-29T15:46:25Z) - Mutual-Guided Dynamic Network for Image Fusion [51.615598671899335]
画像融合のための新しい相互誘導動的ネットワーク(MGDN)を提案する。
5つのベンチマークデータセットによる実験結果から,提案手法は4つの画像融合タスクにおいて既存手法よりも優れていることが示された。
論文 参考訳(メタデータ) (2023-08-24T03:50:37Z) - HyperINR: A Fast and Predictive Hypernetwork for Implicit Neural
Representations via Knowledge Distillation [31.44962361819199]
Inlicit Neural Representations (INRs)は近年、科学的可視化の分野で大きな可能性を秘めている。
本稿では,コンパクトINRの重みを直接予測できる新しいハイパーネットワークアーキテクチャであるHyperINRを紹介する。
多分解能ハッシュ符号化ユニットのアンサンブルを一斉に利用することにより、INRは最先端の推論性能を得る。
論文 参考訳(メタデータ) (2023-04-09T08:10:10Z) - CDDFuse: Correlation-Driven Dual-Branch Feature Decomposition for
Multi-Modality Image Fusion [138.40422469153145]
本稿では,CDDFuse(Relationed-Driven Feature Decomposition Fusion)ネットワークを提案する。
近赤外可視画像融合や医用画像融合など,複数の融合タスクにおいてCDDFuseが有望な結果をもたらすことを示す。
論文 参考訳(メタデータ) (2022-11-26T02:40:28Z) - Asymmetric CNN for image super-resolution [102.96131810686231]
深層畳み込みニューラルネットワーク(CNN)は、過去5年間で低レベルビジョンに広く適用されています。
画像超解像のための非対称ブロック(AB)、mem?ory拡張ブロック(MEB)、高周波数特徴強調ブロック(HFFEB)からなる非対称CNN(ACNet)を提案する。
我々のACNetは、ブラインドノイズの単一画像超解像(SISR)、ブラインドSISR、ブラインドSISRを効果的に処理できる。
論文 参考訳(メタデータ) (2021-03-25T07:10:46Z) - UltraSR: Spatial Encoding is a Missing Key for Implicit Image
Function-based Arbitrary-Scale Super-Resolution [74.82282301089994]
本研究では,暗黙的イメージ関数に基づく,シンプルで効果的な新しいネットワーク設計であるUltraSRを提案する。
空間符号化は,次の段階の高精度暗黙的画像機能に対する欠落鍵であることを示す。
UltraSRは、すべての超解像スケールでDIV2Kベンチマークに最新のパフォーマンスを設定します。
論文 参考訳(メタデータ) (2021-03-23T17:36:42Z) - Coupled Convolutional Neural Network with Adaptive Response Function
Learning for Unsupervised Hyperspectral Super-Resolution [28.798775822331045]
ハイパースペクトル超解像(Hyperspectral super- resolution)とは、高空間分解能と高スペクトル分解能の両方を持つ画像を生成するためにHSIとMSIを融合させることを指す。
本研究では,従来のPSFやSRF情報を使わずにHSI-MSI融合の問題を解く,教師なし深層学習に基づく融合法HyCoNetを提案する。
論文 参考訳(メタデータ) (2020-07-28T06:17:02Z) - Lightweight image super-resolution with enhanced CNN [82.36883027158308]
強い表現力を持つ深部畳み込みニューラルネットワーク(CNN)は、単一画像超解像(SISR)において印象的な性能を達成した
情報抽出・拡張ブロック(IEEB)、再構築ブロック(RB)、情報精製ブロック(IRB)の3つの連続したサブブロックを持つ軽量拡張SR CNN(LESRCNN)を提案する。
IEEBは階層的低分解能(LR)特徴を抽出し、SISRの深い層上の浅い層の記憶能力を高めるために、得られた特徴を段階的に集約する。
RBはグローバルに拡散することで低周波特徴を高周波特徴に変換する
論文 参考訳(メタデータ) (2020-07-08T18:03:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。