論文の概要: CSAKD: Knowledge Distillation with Cross Self-Attention for Hyperspectral and Multispectral Image Fusion

• arxiv url: http://arxiv.org/abs/2406.19666v1
• Date: Fri, 28 Jun 2024 05:25:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-01 17:39:39.600538
• Title: CSAKD: Knowledge Distillation with Cross Self-Attention for Hyperspectral and Multispectral Image Fusion
• Title（参考訳）: CSAKD:ハイパースペクトル・マルチスペクトル画像融合のためのクロス自己注意による知識蒸留
• Authors: Chih-Chung Hsu, Chih-Chien Ni, Chia-Ming Lee, Li-Wei Kang,
• Abstract要約: 本稿では, HR-MSI/LR-HSI融合のための新しい知識蒸留(KD)フレームワークを導入し, LR-HSIのSRを実現する。 LR-HSI と HR-MSI の空間的特徴表現とスペクトル的特徴表現をフル活用するために,我々は新しい自己認識(CSA)融合モジュールを提案する。 実験結果から,学生モデルがLR-HSI SRの性能に匹敵する結果を得た。
• 参考スコア（独自算出の注目度）: 9.3350274016294
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hyperspectral imaging, capturing detailed spectral information for each pixel, is pivotal in diverse scientific and industrial applications. Yet, the acquisition of high-resolution (HR) hyperspectral images (HSIs) often needs to be addressed due to the hardware limitations of existing imaging systems. A prevalent workaround involves capturing both a high-resolution multispectral image (HR-MSI) and a low-resolution (LR) HSI, subsequently fusing them to yield the desired HR-HSI. Although deep learning-based methods have shown promising in HR-MSI/LR-HSI fusion and LR-HSI super-resolution (SR), their substantial model complexities hinder deployment on resource-constrained imaging devices. This paper introduces a novel knowledge distillation (KD) framework for HR-MSI/LR-HSI fusion to achieve SR of LR-HSI. Our KD framework integrates the proposed Cross-Layer Residual Aggregation (CLRA) block to enhance efficiency for constructing Dual Two-Streamed (DTS) network structure, designed to extract joint and distinct features from LR-HSI and HR-MSI simultaneously. To fully exploit the spatial and spectral feature representations of LR-HSI and HR-MSI, we propose a novel Cross Self-Attention (CSA) fusion module to adaptively fuse those features to improve the spatial and spectral quality of the reconstructed HR-HSI. Finally, the proposed KD-based joint loss function is employed to co-train the teacher and student networks. Our experimental results demonstrate that the student model not only achieves comparable or superior LR-HSI SR performance but also significantly reduces the model-size and computational requirements. This marks a substantial advancement over existing state-of-the-art methods. The source code is available at https://github.com/ming053l/CSAKD.
• Abstract（参考訳）: ハイパースペクトルイメージング(Hyperspectral imaging)は、各ピクセルの詳細なスペクトル情報をキャプチャし、様々な科学的、産業的応用において重要である。 しかし、既存のイメージングシステムのハードウェアの限界のため、高分解能(HR)ハイパースペクトル画像(HSI)の取得は、しばしば対処する必要がある。 一般的な回避策として、高分解能マルチスペクトル像 (HR-MSI) と低分解能 (LR) HSI の両方を捉えることがあり、その後、所望のHR-HSIを得る。 深層学習に基づく手法はHR-MSI/LR-HSI融合やLR-HSI超解像(SR)において有望であることを示しているが、それらのモデルの複雑さはリソース制約された撮像装置への展開を妨げる。 本稿では, HR-MSI/LR-HSI融合のための新しい知識蒸留(KD)フレームワークを導入し, LR-HSIのSRを実現する。 我々のKDフレームワークは、提案したCLRAブロックを統合して、LR-HSIとHR-MSIからジョイントと異なる特徴を同時に抽出するDTS(Dual Two-Streamed)ネットワーク構造の構築効率を向上させる。 LR-HSI と HR-MSI の空間的特徴表現とスペクトル的特徴表現を完全に活用するために,再構成した HR-HSI の空間的特徴とスペクトル的品質を改善するために,これらの特徴を適応的に融合する新たな CSA (Cross Self-Attention) 融合モジュールを提案する。 最後に,提案するKDを用いた共同損失関数を用いて,教師と学生のネットワークを協調訓練する。 実験の結果,学生モデルはLR-HSI SRの性能に匹敵するだけでなく,モデルサイズや計算要求を大幅に削減できることがわかった。 これは既存の最先端の手法よりも大幅に進歩している。 ソースコードはhttps://github.com/ming053l/CSAKDで入手できる。

関連論文リスト

• Test-time Training for Hyperspectral Image Super-resolution [95.38382633281398]
  ハイパースペクトル画像(HSI)超解像(SR)は、まだRGB画像SRの研究に遅れを取っている。 本研究では,この問題に対処するための新しいテストタイムトレーニング手法を提案する。 具体的には、より正確な擬似ラベルとより正確なLR-HR関係を生成する新しい自己学習フレームワークを開発する。
  論文  参考訳（メタデータ） (2024-09-13T09:30:19Z)
• HSR-KAN: Efficient Hyperspectral Image Super-Resolution via Kolmogorov-Arnold Networks [0.16385815610837165]
  低分解能HSIと高分解能マルチスペクトル画像(HR-MSI)を融合する効率的なHSI超解像(HSI-SR)モデルを提案する。 HR-MSIからの空間情報の効果的な統合を実現するために,kansに基づく融合モジュールを設計する。 kansと統合されたチャネルアテンションモジュールとして、kan-CABはネットワークがスペクトルシーケンスや空間テクスチャの詳細を正確にシミュレートすることを可能にする。
  論文  参考訳（メタデータ） (2024-08-24T02:51:51Z)
• UnmixingSR: Material-aware Network with Unsupervised Unmixing as Auxiliary Task for Hyperspectral Image Super-resolution [5.167168688234238]
  本論文では、UnmixingSRと呼ばれる、コンポーネント対応ハイパースペクトル画像(HIS)超解像ネットワークを提案する。 我々は、SR問題の解法における方法の安定性を高めるために、LR量とHR量との結合を用いる。 実験結果から,SR問題に組み込まれた補助的タスクとしてのアンミックスプロセスが実現可能で合理的であることが示唆された。
  論文  参考訳（メタデータ） (2024-07-09T03:41:02Z)
• Learning Many-to-Many Mapping for Unpaired Real-World Image Super-resolution and Downscaling [60.80788144261183]
  実世界のLR画像とHR画像の双方向多対多マッピングを教師なしで同時に学習するSDFlowと呼ばれる画像ダウンスケーリングとSRモデルを提案する。 実世界の画像SRデータセットによる実験結果から,SDFlowは定量的かつ定性的に,多様な現実的なLRとSRの画像を生成可能であることが示唆された。
  論文  参考訳（メタデータ） (2023-10-08T01:48:34Z)
• Unsupervised Hyperspectral and Multispectral Images Fusion Based on the Cycle Consistency [21.233354336608205]
  本稿では,CycFusionと呼ばれるサイクル一貫性に基づく教師なしHSIとMSIの融合モデルを提案する。 CycFusion は低空間分解能 HSI (LrHSI) と高空間分解能 MSI (HrMSI) の領域変換を学習する いくつかのデータセットで行った実験により,提案手法は非教師なし核融合法よりも優れていたことが判明した。
  論文  参考訳（メタデータ） (2023-07-07T06:47:15Z)
• HSR-Diff:Hyperspectral Image Super-Resolution via Conditional Diffusion Models [10.865272587124027]
  条件付き拡散モデル(HSR-Diff)を用いたHSI超解像(SR)手法を提案する。 HSR-Diffは、HR-HSIが純粋なガウス雑音で空間的であり、反復的に洗練されるような繰り返し精製によりHR-HSIを生成する。 さらに、フル解像度画像のグローバル情報を活用するために、プログレッシブラーニング戦略が採用されている。
  論文  参考訳（メタデータ） (2023-06-21T08:04:30Z)
• Deep Posterior Distribution-based Embedding for Hyperspectral Image Super-resolution [75.24345439401166]
  本稿では,高スペクトル画像の高次元空間スペクトル情報を効率的に効率的に埋め込む方法について述べる。 我々は,HS埋め込みを,慎重に定義されたHS埋め込みイベントの集合の後方分布の近似として定式化する。 そして,提案手法を物理的に解釈可能なソース一貫性超解像フレームワークに組み込む。 3つの一般的なベンチマークデータセットに対する実験により、PDE-Netは最先端の手法よりも優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2022-05-30T06:59:01Z)
• HDNet: High-resolution Dual-domain Learning for Spectral Compressive Imaging [138.04956118993934]
  HSI再構成のための高分解能デュアルドメイン学習ネットワーク(HDNet)を提案する。 一方、高効率な特徴融合によるHR空間スペクトルアテンションモジュールは、連続的かつ微細な画素レベルの特徴を提供する。 一方、HSI再構成のために周波数領域学習(FDL)を導入し、周波数領域の差を狭める。
  論文  参考訳（メタデータ） (2022-03-04T06:37:45Z)
• An Arbitrary Scale Super-Resolution Approach for 3-Dimensional Magnetic Resonance Image using Implicit Neural Representation [37.43985628701494]
  高分解能(HR)医療画像は、早期かつ正確な診断を容易にするために、豊富な解剖学的構造の詳細を提供する。 近年の研究では、深部畳み込みニューラルネットワークを用いて、低分解能(LR)入力から等方性HR MR像を復元できることが示されている。 Arbitrary Scale Super-Resolution approach for recovering 3D HR MR images。
  論文  参考訳（メタデータ） (2021-10-27T14:48:54Z)
• Hyperspectral Image Super-Resolution with Spectral Mixup and Heterogeneous Datasets [99.92564298432387]
  ハイパースペクトル画像(HSI)超解像(SR)の研究 HSI SRは高次元データと限られたトレーニング例によって特徴づけられる。 これにより、非分布サンプルに対する記憶や感度などのニューラルネットワークの望ましくない動作が悪化する。
  論文  参考訳（メタデータ） (2021-01-19T12:19:53Z)
• Cross-Attention in Coupled Unmixing Nets for Unsupervised Hyperspectral Super-Resolution [79.97180849505294]
  本稿では,HSIの空間分解能を高めるために,CUCaNetというクロスアテンション機構を備えた新しい結合型アンミックスネットワークを提案する。 3つの広く使われているHS-MSデータセットに対して、最先端のHSI-SRモデルと比較実験を行った。
  論文  参考訳（メタデータ） (2020-07-10T08:08:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。