論文の概要: Fourier-enhanced Implicit Neural Fusion Network for Multispectral and Hyperspectral Image Fusion
- arxiv url: http://arxiv.org/abs/2404.15174v1
- Date: Tue, 23 Apr 2024 16:14:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-24 13:22:34.228086
- Title: Fourier-enhanced Implicit Neural Fusion Network for Multispectral and Hyperspectral Image Fusion
- Title(参考訳): マルチスペクトル・ハイパースペクトル画像融合のためのフーリエ強化インシシシトニューラルフュージョンネットワーク
- Authors: Yu-Jie Liang, Zihan Cao, Liang-Jian Deng, Xiao Wu,
- Abstract要約: Inlicit Neural representations (INR) は様々な視覚関連領域において大きな進歩を遂げている。
INRは高周波情報を失う傾向があり、世界的な知覚能力の欠如に制限されている。
本稿では,MHIFタスク用に設計されたFourier-enhanced Implicit Neural Fusion Network (FeINFN)を紹介する。
- 参考スコア(独自算出の注目度): 12.935592400092712
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recently, implicit neural representations (INR) have made significant strides in various vision-related domains, providing a novel solution for Multispectral and Hyperspectral Image Fusion (MHIF) tasks. However, INR is prone to losing high-frequency information and is confined to the lack of global perceptual capabilities. To address these issues, this paper introduces a Fourier-enhanced Implicit Neural Fusion Network (FeINFN) specifically designed for MHIF task, targeting the following phenomena: The Fourier amplitudes of the HR-HSI latent code and LR-HSI are remarkably similar; however, their phases exhibit different patterns. In FeINFN, we innovatively propose a spatial and frequency implicit fusion function (Spa-Fre IFF), helping INR capture high-frequency information and expanding the receptive field. Besides, a new decoder employing a complex Gabor wavelet activation function, called Spatial-Frequency Interactive Decoder (SFID), is invented to enhance the interaction of INR features. Especially, we further theoretically prove that the Gabor wavelet activation possesses a time-frequency tightness property that favors learning the optimal bandwidths in the decoder. Experiments on two benchmark MHIF datasets verify the state-of-the-art (SOTA) performance of the proposed method, both visually and quantitatively. Also, ablation studies demonstrate the mentioned contributions. The code will be available on Anonymous GitHub (https://anonymous.4open.science/r/FeINFN-15C9/) after possible acceptance.
- Abstract(参考訳): 近年、暗黙的神経表現(INR)は様々な視覚関連領域において大きな進歩を遂げており、MHIF(Multispectral and Hyperspectral Image Fusion)タスクのための新しいソリューションを提供している。
しかし、INRは高周波情報を失う傾向にあり、世界的な知覚能力の欠如に限られている。
これらの問題に対処するために, HR-HSI潜時符号とLR-HSIのフーリエ振幅は相似であるが, 相は異なるパターンを示す。
FeINFNでは、空間的および周波数的暗黙的融合関数(Spa-Fre IFF)を革新的に提案し、INRが高周波情報を捕捉し、受容場を拡大するのに役立つ。
さらに、複雑なGaborウェーブレット活性化機能(Spatial-Frequency Interactive Decoder (SFID))を用いた新しいデコーダを発明し、INR特徴の相互作用を強化する。
特に、ガボルウェーブレットの活性化は、デコーダにおける最適な帯域幅の学習を好む時間周波数のタイトネス特性を有することを理論的に証明する。
2つのベンチマークMHIFデータセットの実験は、提案手法の最先端(SOTA)性能を視覚的かつ定量的に検証する。
また、アブレーション研究は上記の貢献を実証している。
コードはAnonymous GitHub (https://anonymous.4open.science/r/FeINFN-15C9/)で利用可能になる。
関連論文リスト
- Frequency-Aware Deepfake Detection: Improving Generalizability through
Frequency Space Learning [81.98675881423131]
この研究は、目に見えないディープフェイク画像を効果的に識別できるユニバーサルディープフェイク検出器を開発するという課題に対処する。
既存の周波数ベースのパラダイムは、偽造検出のためにGANパイプラインのアップサンプリング中に導入された周波数レベルのアーティファクトに依存している。
本稿では、周波数領域学習を中心にしたFreqNetと呼ばれる新しい周波数認識手法を導入し、ディープフェイク検出器の一般化性を高めることを目的とする。
論文 参考訳(メタデータ) (2024-03-12T01:28:00Z) - A Sampling Theory Perspective on Activations for Implicit Neural
Representations [73.6637608397055]
Inlicit Neural Representations (INR) は、コンパクトで微分可能なエンティティとして信号の符号化で人気を博している。
サンプリング理論の観点からこれらの活性化を包括的に分析する。
本研究により,INRと併用されていないシンクアクティベーションは,信号符号化に理論的に最適であることが判明した。
論文 参考訳(メタデータ) (2024-02-08T05:52:45Z) - FINER: Flexible spectral-bias tuning in Implicit NEural Representation
by Variable-periodic Activation Functions [40.80112550091512]
暗黙の神経表現は、信号処理の分野で革命を引き起こしている。
現在のINR技術は、サポートされた周波数セットをチューニングする制限された能力に悩まされている。
本稿では,FINERを提案する可変周期アクティベーション関数を提案する。
本研究では,FINERの2次元画像適合性,3次元符号付き距離場表現,および5次元ニューラル場放射率最適化の文脈における機能を示す。
論文 参考訳(メタデータ) (2023-12-05T02:23:41Z) - DiffiT: Diffusion Vision Transformers for Image Generation [88.08529836125399]
ViT(Vision Transformer)は、特に認識タスクにおいて、強力なモデリング機能とスケーラビリティを実証している。
拡散型生成学習におけるViTの有効性について検討し、拡散ビジョン変換器(DiffiT)と呼ばれる新しいモデルを提案する。
DiffiTはパラメータ効率が大幅に向上した高忠実度画像を生成するのに驚くほど効果的である。
論文 参考訳(メタデータ) (2023-12-04T18:57:01Z) - Adaptive Frequency Filters As Efficient Global Token Mixers [100.27957692579892]
適応周波数フィルタは効率的なグローバルトークンミキサーとして機能することを示す。
我々は、AFFNetと呼ばれる軽量ニューラルネットワークを構築するために、AFFトークンミキサーを主要なニューラルネットワークとして捉えています。
論文 参考訳(メタデータ) (2023-07-26T07:42:28Z) - Implicit Neural Feature Fusion Function for Multispectral and
Hyperspectral Image Fusion [12.43436096160316]
MHIFは高分解能マルチスペクトル画像(HR-MSI)と高分解能ハイパースペクトル画像(LR-HSI)を融合して高分解能ハイパースペクトル画像(HR-HSI)を得るための実用的課題である。
論文 参考訳(メタデータ) (2023-07-14T11:59:47Z) - QFF: Quantized Fourier Features for Neural Field Representations [28.82293263445964]
我々は、QFF(Quantized Fourier Features)を用いることで、モデルのサイズが小さくなり、トレーニングが速くなり、複数のアプリケーションの品質が向上することを示した。
QFFは簡単にコーディングでき、高速に計算でき、多くのニューラルネットワーク表現に加えてシンプルなドロップインとして機能する。
論文 参考訳(メタデータ) (2022-12-02T00:11:22Z) - CDDFuse: Correlation-Driven Dual-Branch Feature Decomposition for
Multi-Modality Image Fusion [138.40422469153145]
本稿では,CDDFuse(Relationed-Driven Feature Decomposition Fusion)ネットワークを提案する。
近赤外可視画像融合や医用画像融合など,複数の融合タスクにおいてCDDFuseが有望な結果をもたらすことを示す。
論文 参考訳(メタデータ) (2022-11-26T02:40:28Z) - UltraSR: Spatial Encoding is a Missing Key for Implicit Image
Function-based Arbitrary-Scale Super-Resolution [74.82282301089994]
本研究では,暗黙的イメージ関数に基づく,シンプルで効果的な新しいネットワーク設計であるUltraSRを提案する。
空間符号化は,次の段階の高精度暗黙的画像機能に対する欠落鍵であることを示す。
UltraSRは、すべての超解像スケールでDIV2Kベンチマークに最新のパフォーマンスを設定します。
論文 参考訳(メタデータ) (2021-03-23T17:36:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。