論文の概要: HyFusion: Enhanced Reception Field Transformer for Hyperspectral Image Fusion
- arxiv url: http://arxiv.org/abs/2501.04665v1
- Date: Wed, 08 Jan 2025 18:22:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-09 14:55:10.452161
- Title: HyFusion: Enhanced Reception Field Transformer for Hyperspectral Image Fusion
- Title（参考訳）: ハイフュージョン:ハイパースペクトル画像融合のための受容場変換器の強化
- Authors: Chia-Ming Lee, Yu-Fan Lin, Yu-Hao Ho, Li-Wei Kang, Chih-Chung Hsu,
- Abstract要約: 高分解能マルチスペクトル画像(HR-MSIs)と低分解能HSI(LR-HSIs)から高分解能HSI(HR-HSIs)を再構成する課題について
- 参考スコア（独自算出の注目度）: 8.701181531082781
- License:
- Abstract: Hyperspectral image (HSI) fusion addresses the challenge of reconstructing High-Resolution HSIs (HR-HSIs) from High-Resolution Multispectral images (HR-MSIs) and Low-Resolution HSIs (LR-HSIs), a critical task given the high costs and hardware limitations associated with acquiring high-quality HSIs. While existing methods leverage spatial and spectral relationships, they often suffer from limited receptive fields and insufficient feature utilization, leading to suboptimal performance. Furthermore, the scarcity of high-quality HSI data highlights the importance of efficient data utilization to maximize reconstruction quality. To address these issues, we propose HyFusion, a novel framework designed to enhance the receptive field and enable effective feature map reusing, thereby maximizing data utilization. First, HR-MSI and LR-HSI inputs are concatenated to form a quasi-fused draft, preserving complementary spatial and spectral details. Next, the Enhanced Reception Field Block (ERFB) is introduced, combining shifting-window attention and dense connections to expand the receptive field, effectively capturing long-range dependencies and reusing features to reduce information loss, thereby boosting data efficiency. Finally, the Dual-Coupled Network (DCN) dynamically extracts high-frequency spectral and spatial features from LR-HSI and HR-MSI, ensuring efficient cross-domain fusion. Extensive experiments demonstrate that HyFusion achieves state-of-the-art performance in HR-MSI/LR-HSI fusion, significantly improving reconstruction quality while maintaining a compact model size and computational efficiency. By integrating enhanced receptive fields and feature map reusing, HyFusion provides a practical and effective solution for HSI fusion in resource-constrained scenarios, setting a new benchmark in hyperspectral imaging. Our code will be publicly available.
- Abstract（参考訳）: ハイパースペクトル画像(HSI)融合は,高分解能マルチスペクトル画像(HR-MSI)と低分解能HSI(LR-HSI)から高分解能HSI(HR-HSI)を再構成する課題に対処する。
既存の手法は空間的・スペクトル的関係を生かしているが、受容領域が限られ、特徴利用が不十分な場合が多いため、準最適性能に繋がる。
さらに、高品質なHSIデータの不足は、再構築品質を最大化するための効率的なデータ利用の重要性を強調している。
このような問題に対処するため,HyFusionを提案する。HyFusionは,受容領域を強化し,効率的な特徴マップ再利用を実現し,データ利用を最大化するための新しいフレームワークである。
まず、HR-MSIとLR-HSIの入力を連結して準融合したドラフトを作成し、相補的な空間的およびスペクトル的詳細を保存する。
次にERFB(Enhanced Reception Field Block)を導入し、シフトウインドウの注意と密接な接続を組み合わせて、受信フィールドを拡張し、長距離依存を効果的に捕捉し、情報損失を低減し、データ効率を向上する。
最後に、Dual-Coupled Network (DCN)はLR-HSIとHR-MSIから高周波スペクトルと空間特性を動的に抽出し、効率的なクロスドメイン融合を実現する。
HR-MSI/LR-HSI融合におけるHyFusionの最先端性能を実証し,コンパクトなモデルサイズと計算効率を維持しつつ,再現性を大幅に向上した。
拡張された受容場と特徴マップの再利用を統合することで、HyFusionはリソース制約のあるシナリオにおけるHSI融合の実用的で効果的なソリューションを提供し、ハイパースペクトルイメージングの新しいベンチマークを設定できる。
私たちのコードは公開されます。
関連論文リスト
- HSR-KAN: Efficient Hyperspectral Image Super-Resolution via Kolmogorov-Arnold Networks [0.16385815610837165]
低分解能HSIと高分解能マルチスペクトル画像(HR-MSI)を融合する効率的なHSI超解像(HSI-SR)モデルを提案する。
HR-MSIからの空間情報の効果的な統合を実現するために,kansに基づく融合モジュールを設計する。
kansと統合されたチャネルアテンションモジュールとして、kan-CABはネットワークがスペクトルシーケンスや空間テクスチャの詳細を正確にシミュレートすることを可能にする。
論文 参考訳（メタデータ） (2024-08-24T02:51:51Z) - CSAKD: Knowledge Distillation with Cross Self-Attention for Hyperspectral and Multispectral Image Fusion [9.3350274016294]
本稿では, HR-MSI/LR-HSI融合のための新しい知識蒸留(KD)フレームワークを導入し, LR-HSIのSRを実現する。
LR-HSI と HR-MSI の空間的特徴表現とスペクトル的特徴表現をフル活用するために,我々は新しい自己認識(CSA)融合モジュールを提案する。
実験結果から,学生モデルがLR-HSI SRの性能に匹敵する結果を得た。
論文 参考訳（メタデータ） (2024-06-28T05:25:57Z) - ADASR: An Adversarial Auto-Augmentation Framework for Hyperspectral and
Multispectral Data Fusion [54.668445421149364]
HSI(Deep Learning-based Hyperspectral Image)は、HSI(Hyperspectral Image)とMSI(Multispectral Image)を深層ニューラルネットワーク(DNN)に融合させることにより、高空間分解能HSI(HR-HSI)を生成することを目的としている。
本稿では, HSI-MSI 融合のためのデータ多様性を向上するために, HSI-MSI サンプルペアの自動最適化と拡張を行う新しい逆自動データ拡張フレームワーク ADASR を提案する。
論文 参考訳（メタデータ） (2023-10-11T07:30:37Z) - ESSAformer: Efficient Transformer for Hyperspectral Image
Super-resolution [76.7408734079706]
単一ハイパースペクトル像超解像(単一HSI-SR)は、低分解能観測から高分解能ハイパースペクトル像を復元することを目的としている。
本稿では,1つのHSI-SRの繰り返し精製構造を持つESSA注目組込みトランスフォーマネットワークであるESSAformerを提案する。
論文 参考訳（メタデータ） (2023-07-26T07:45:14Z) - Unsupervised Hyperspectral and Multispectral Images Fusion Based on the
Cycle Consistency [21.233354336608205]
本稿では,CycFusionと呼ばれるサイクル一貫性に基づく教師なしHSIとMSIの融合モデルを提案する。
CycFusion は低空間分解能 HSI (LrHSI) と高空間分解能 MSI (HrMSI) の領域変換を学習する
いくつかのデータセットで行った実験により,提案手法は非教師なし核融合法よりも優れていたことが判明した。
論文 参考訳（メタデータ） (2023-07-07T06:47:15Z) - Hyperspectral Image Super-Resolution via Dual-domain Network Based on
Hybrid Convolution [6.3814314790000415]
本稿ではハイブリッド畳み込み(SRDNet)に基づく新しいHSI超解像アルゴリズムを提案する。
スペクトル間自己相似性を捉えるため、空間領域に自己注意学習機構(HSL)を考案する。
HSIの知覚品質をさらに向上するため、周波数領域のモデルを最適化するために周波数損失(HFL)を導入した。
論文 参考訳（メタデータ） (2023-04-10T13:51:28Z) - Deep Posterior Distribution-based Embedding for Hyperspectral Image
Super-resolution [75.24345439401166]
本稿では,高スペクトル画像の高次元空間スペクトル情報を効率的に効率的に埋め込む方法について述べる。
我々は,HS埋め込みを,慎重に定義されたHS埋め込みイベントの集合の後方分布の近似として定式化する。
そして,提案手法を物理的に解釈可能なソース一貫性超解像フレームワークに組み込む。
3つの一般的なベンチマークデータセットに対する実験により、PDE-Netは最先端の手法よりも優れた性能を発揮することが示された。
論文 参考訳（メタデータ） (2022-05-30T06:59:01Z) - HDNet: High-resolution Dual-domain Learning for Spectral Compressive
Imaging [138.04956118993934]
HSI再構成のための高分解能デュアルドメイン学習ネットワーク(HDNet)を提案する。
一方、高効率な特徴融合によるHR空間スペクトルアテンションモジュールは、連続的かつ微細な画素レベルの特徴を提供する。
一方、HSI再構成のために周波数領域学習(FDL)を導入し、周波数領域の差を狭める。
論文 参考訳（メタデータ） (2022-03-04T06:37:45Z) - Fourier Space Losses for Efficient Perceptual Image Super-Resolution [131.50099891772598]
提案した損失関数の適用のみで,最近導入された効率的なジェネレータアーキテクチャの性能向上が可能であることを示す。
フーリエ空間における周波数に対する損失の直接的強調は知覚的画質を著しく向上させることを示す。
訓練されたジェネレータは、最先端の知覚的SR法である RankSRGAN と SRFlow よりも2.4倍、48倍高速である。
論文 参考訳（メタデータ） (2021-06-01T20:34:52Z) - Cross-Attention in Coupled Unmixing Nets for Unsupervised Hyperspectral
Super-Resolution [79.97180849505294]
本稿では,HSIの空間分解能を高めるために,CUCaNetというクロスアテンション機構を備えた新しい結合型アンミックスネットワークを提案する。
3つの広く使われているHS-MSデータセットに対して、最先端のHSI-SRモデルと比較実験を行った。
論文 参考訳（メタデータ） (2020-07-10T08:08:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。