論文の概要: Fourier-enhanced Implicit Neural Fusion Network for Multispectral and Hyperspectral Image Fusion

• arxiv url: http://arxiv.org/abs/2404.15174v1
• Date: Tue, 23 Apr 2024 16:14:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-24 13:22:34.228086
• Title: Fourier-enhanced Implicit Neural Fusion Network for Multispectral and Hyperspectral Image Fusion
• Title（参考訳）: マルチスペクトル・ハイパースペクトル画像融合のためのフーリエ強化インシシシトニューラルフュージョンネットワーク
• Authors: Yu-Jie Liang, Zihan Cao, Liang-Jian Deng, Xiao Wu,
• Abstract要約: Inlicit Neural representations (INR) は様々な視覚関連領域において大きな進歩を遂げている。 INRは高周波情報を失う傾向があり、世界的な知覚能力の欠如に制限されている。 本稿では,MHIFタスク用に設計されたFourier-enhanced Implicit Neural Fusion Network (FeINFN)を紹介する。
• 参考スコア（独自算出の注目度）: 12.935592400092712
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, implicit neural representations (INR) have made significant strides in various vision-related domains, providing a novel solution for Multispectral and Hyperspectral Image Fusion (MHIF) tasks. However, INR is prone to losing high-frequency information and is confined to the lack of global perceptual capabilities. To address these issues, this paper introduces a Fourier-enhanced Implicit Neural Fusion Network (FeINFN) specifically designed for MHIF task, targeting the following phenomena: The Fourier amplitudes of the HR-HSI latent code and LR-HSI are remarkably similar; however, their phases exhibit different patterns. In FeINFN, we innovatively propose a spatial and frequency implicit fusion function (Spa-Fre IFF), helping INR capture high-frequency information and expanding the receptive field. Besides, a new decoder employing a complex Gabor wavelet activation function, called Spatial-Frequency Interactive Decoder (SFID), is invented to enhance the interaction of INR features. Especially, we further theoretically prove that the Gabor wavelet activation possesses a time-frequency tightness property that favors learning the optimal bandwidths in the decoder. Experiments on two benchmark MHIF datasets verify the state-of-the-art (SOTA) performance of the proposed method, both visually and quantitatively. Also, ablation studies demonstrate the mentioned contributions. The code will be available on Anonymous GitHub (https://anonymous.4open.science/r/FeINFN-15C9/) after possible acceptance.
• Abstract（参考訳）: 近年、暗黙的神経表現(INR)は様々な視覚関連領域において大きな進歩を遂げており、MHIF(Multispectral and Hyperspectral Image Fusion)タスクのための新しいソリューションを提供している。 しかし、INRは高周波情報を失う傾向にあり、世界的な知覚能力の欠如に限られている。 これらの問題に対処するために, HR-HSI潜時符号とLR-HSIのフーリエ振幅は相似であるが, 相は異なるパターンを示す。 FeINFNでは、空間的および周波数的暗黙的融合関数(Spa-Fre IFF)を革新的に提案し、INRが高周波情報を捕捉し、受容場を拡大するのに役立つ。 さらに、複雑なGaborウェーブレット活性化機能(Spatial-Frequency Interactive Decoder (SFID))を用いた新しいデコーダを発明し、INR特徴の相互作用を強化する。 特に、ガボルウェーブレットの活性化は、デコーダにおける最適な帯域幅の学習を好む時間周波数のタイトネス特性を有することを理論的に証明する。 2つのベンチマークMHIFデータセットの実験は、提案手法の最先端(SOTA)性能を視覚的かつ定量的に検証する。 また、アブレーション研究は上記の貢献を実証している。 コードはAnonymous GitHub (https://anonymous.4open.science/r/FeINFN-15C9/)で利用可能になる。

関連論文リスト

• Robustifying Fourier Features Embeddings for Implicit Neural Representations [25.725097757343367]
  Inlicit Neural Representation (INR) は、目標関数の対応する値に座標をマッピングすることで、連続関数を表現するためにニューラルネットワークを使用する。 INRは、様々な周波数を含むシーンを扱う際に、スペクトルバイアスとして知られる課題に直面している。 本稿では,多層パーセプトロン (MLP) を添加剤なしで使用することを提案する。
  論文  参考訳（メタデータ） (2025-02-08T07:43:37Z)
• FE-UNet: Frequency Domain Enhanced U-Net with Segment Anything Capability for Versatile Image Segmentation [50.9040167152168]
  CNNのコントラスト感度関数を実験的に定量化し,人間の視覚システムと比較した。 本稿ではウェーブレット誘導分光ポーリングモジュール(WSPM)を提案する。 人間の視覚系をさらにエミュレートするために、周波数領域拡張受容野ブロック(FE-RFB)を導入する。 本研究では,SAM2 をバックボーンとし,Hiera-Large を事前学習ブロックとして組み込んだ FE-UNet を開発した。
  論文  参考訳（メタデータ） (2025-02-06T07:24:34Z)
• STAF: Sinusoidal Trainable Activation Functions for Implicit Neural Representation [7.2888019138115245]
  Inlicit Neural Representations (INR) は、連続的な信号をモデリングするための強力なフレームワークとして登場した。 ReLUベースのネットワークのスペクトルバイアスは、十分に確立された制限であり、ターゲット信号の微細な詳細を捕捉する能力を制限する。 Sinusoidal Trainable Function Activation (STAF)について紹介する。 STAFは本質的に周波数成分を変調し、自己適応型スペクトル学習を可能にする。
  論文  参考訳（メタデータ） (2025-02-02T18:29:33Z)
• Implicit Neural Representations with Fourier Kolmogorov-Arnold Networks [4.499833362998488]
  入射神経表現(INR)は、複雑な信号の連続的および分解非依存的な表現を提供するためにニューラルネットワークを使用する。 提案したFKANは、第1層のフーリエ級数としてモデル化された学習可能なアクティベーション関数を用いて、タスク固有の周波数成分を効果的に制御し、学習する。 実験結果から,提案したFKANモデルは,最先端の3つのベースラインスキームよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-09-14T05:53:33Z)
• Frequency-aware Feature Fusion for Dense Image Prediction [99.85757278772262]
  本稿では,高密度画像予測のための周波数認識機能融合(FreqFusion)を提案する。 FreqFusionは、Adaptive Low-Pass Filter (ALPF) ジェネレータ、オフセットジェネレータ、Adaptive High-Pass Filter (AHPF) ジェネレータを統合する。 包括的可視化と定量的分析は、FreqFusionが機能一貫性を効果的に改善し、オブジェクト境界を鋭くすることを示している。
  論文  参考訳（メタデータ） (2024-08-23T07:30:34Z)
• FINER++: Building a Family of Variable-periodic Functions for Activating Implicit Neural Representation [39.116375158815515]
  Inlicit Neural Representation (INR)は、信号処理の分野で革命を引き起こしている。 INR技術は「周波数」特定スペクトルバイアスとキャパシティ・コンバージェンスギャップに悩まされる。 既存の周期的/非周期的アクティベーション関数を可変周期的関数に拡張することにより、FINER++フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-28T09:24:57Z)
• Hybrid Convolutional and Attention Network for Hyperspectral Image Denoising [54.110544509099526]
  ハイパースペクトル画像(HSI)は、ハイパースペクトルデータの効果的な解析と解釈に重要である。 ハイブリット・コンボリューション・アテンション・ネットワーク(HCANet)を提案する。 主流HSIデータセットに対する実験結果は,提案したHCANetの合理性と有効性を示している。
  論文  参考訳（メタデータ） (2024-03-15T07:18:43Z)
• Frequency-Aware Deepfake Detection: Improving Generalizability through Frequency Space Learning [81.98675881423131]
  この研究は、目に見えないディープフェイク画像を効果的に識別できるユニバーサルディープフェイク検出器を開発するという課題に対処する。 既存の周波数ベースのパラダイムは、偽造検出のためにGANパイプラインのアップサンプリング中に導入された周波数レベルのアーティファクトに依存している。 本稿では、周波数領域学習を中心にしたFreqNetと呼ばれる新しい周波数認識手法を導入し、ディープフェイク検出器の一般化性を高めることを目的とする。
  論文  参考訳（メタデータ） (2024-03-12T01:28:00Z)
• A Sampling Theory Perspective on Activations for Implicit Neural Representations [73.6637608397055]
  Inlicit Neural Representations (INR) は、コンパクトで微分可能なエンティティとして信号の符号化で人気を博している。 サンプリング理論の観点からこれらの活性化を包括的に分析する。 本研究により,INRと併用されていないシンクアクティベーションは,信号符号化に理論的に最適であることが判明した。
  論文  参考訳（メタデータ） (2024-02-08T05:52:45Z)
• Implicit Neural Feature Fusion Function for Multispectral and Hyperspectral Image Fusion [12.43436096160316]
  MHIFは高分解能マルチスペクトル画像(HR-MSI)と高分解能ハイパースペクトル画像(LR-HSI)を融合して高分解能ハイパースペクトル画像(HR-HSI)を得るための実用的課題である。
  論文  参考訳（メタデータ） (2023-07-14T11:59:47Z)
• CDDFuse: Correlation-Driven Dual-Branch Feature Decomposition for Multi-Modality Image Fusion [138.40422469153145]
  本稿では,CDDFuse(Relationed-Driven Feature Decomposition Fusion)ネットワークを提案する。 近赤外可視画像融合や医用画像融合など,複数の融合タスクにおいてCDDFuseが有望な結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-11-26T02:40:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。