論文の概要: Learning Exhaustive Correlation for Spectral Super-Resolution: Where Unified Spatial-Spectral Attention Meets Mutual Linear Dependence

• arxiv url: http://arxiv.org/abs/2312.12833v1
• Date: Wed, 20 Dec 2023 08:30:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-21 16:28:04.113316
• Title: Learning Exhaustive Correlation for Spectral Super-Resolution: Where Unified Spatial-Spectral Attention Meets Mutual Linear Dependence
• Title（参考訳）: スペクトル超解法のための学習的排他的相関:空間スペクトルの統一が相互線形依存と出会う場合
• Authors: Hongyuan Wang, Lizhi Wang, Jiang Xu, Chang Chen, Xue Hu, Fenglong Song and Youliang Yan
• Abstract要約: RGB画像からハイパースペクトル画像(HSI)へのスペクトル超解像は、計算写真分野への関心が高まっている。 スペクトル超解像の重要な側面は、HSI内の相関を利用することである。 既存のトランスフォーマーは空間的あるいはスペクトル的な相関を重視しており、HSIの3次元特徴を損なう。 スペクトル超解像のための新しい Exhaustive correlation Transformer (ECT) を提案する。
• 参考スコア（独自算出の注目度）: 27.481724355600974
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spectral super-resolution from the easily obtainable RGB image to hyperspectral image (HSI) has drawn increasing interest in the field of computational photography. The crucial aspect of spectral super-resolution lies in exploiting the correlation within HSIs. However, two types of bottlenecks in existing Transformers limit performance improvement and practical applications. First, existing Transformers often separately emphasize either spatial-wise or spectral-wise correlation, disrupting the 3D features of HSI and hindering the exploitation of unified spatial-spectral correlation. Second, the existing self-attention mechanism learns the correlation between pairs of tokens and captures the full-rank correlation matrix, leading to its inability to establish mutual linear dependence among multiple tokens. To address these issues, we propose a novel Exhaustive Correlation Transformer (ECT) for spectral super-resolution. First, we propose a Spectral-wise Discontinuous 3D (SD3D) splitting strategy, which models unified spatial-spectral correlation by simultaneously utilizing spatial-wise continuous splitting and spectral-wise discontinuous splitting. Second, we propose a Dynamic Low-Rank Mapping (DLRM) model, which captures mutual linear dependence among multiple tokens through a dynamically calculated low-rank dependence map. By integrating unified spatial-spectral attention with mutual linear dependence, our ECT can establish exhaustive correlation within HSI. The experimental results on both simulated and real data indicate that our method achieves state-of-the-art performance. Codes and pretrained models will be available later.
• Abstract（参考訳）: 容易に取得可能なRGB画像からハイパースペクトル画像(HSI)へのスペクトル超解像は、計算写真分野への関心が高まっている。 スペクトル超解像の重要な側面は、HSI内の相関を利用することである。 しかし、既存のトランスフォーマーにおける2つのタイプのボトルネックは、性能改善と実用的な応用を制限している。 まず、既存のトランスフォーマーは、空間的またはスペクトル的相関を個別に強調し、HSIの3次元特徴を乱し、空間的・スペクトル的相関の統一を阻害する。 第二に、既存の自己注意機構はトークンのペア間の相関を学習し、フルランク相関行列をキャプチャし、複数のトークン間の相互線形依存を確立することができない。 これらの問題に対処するために,スペクトル超解像のための新しい Exhaustive correlation Transformer (ECT) を提案する。 まず,空間的連続分割とスペクトル的不連続分割を同時に利用することにより,空間的スペクトル相関を統一したスペクトル的不連続分割戦略を提案する。 第二に、動的に計算された低ランク依存マップを通して複数のトークン間の相互線形依存をキャプチャする動的低ランクマッピング(DLRM)モデルを提案する。 統一的な空間スペクトル注意と相互線形依存を統合することにより, ect は hsi 内の排他的相関を確立することができる。 シミュレーションデータと実データの両方を用いた実験結果から,本手法が最先端性能を実現することを示す。 コードと事前訓練されたモデルは後日公開される。

関連論文リスト

• DCT-Mamba3D: Spectral Decorrelation and Spatial-Spectral Feature Extraction for Hyperspectral Image Classification [38.538268270711534]
  ハイパースペクトル画像分類は、スペクトル冗長性と複雑な空間スペクトル依存性による課題を提示する。 本稿では,高スペクトル画像分類のための新しいフレームワークDCT-Mamba3Dを提案する。
  論文  参考訳（メタデータ） (2025-02-04T04:00:08Z)
• HSRMamba: Contextual Spatial-Spectral State Space Model for Single Hyperspectral Super-Resolution [41.93421212397078]
  Mambaは、その強力なグローバルモデリング能力と線形計算複雑性のために、視覚タスクにおいて例外的な性能を示した。 HSISRでは、Mambaは画像を1Dシーケンスに変換することで、局所的に隣接するピクセル間の空間-スペクトル構造関係を無視しているため、課題に直面している。 本研究では,HSISRにおける空間スペクトルモデリング状態空間モデルHSRMambaを提案する。
  論文  参考訳（メタデータ） (2025-01-30T17:10:53Z)
• Unleashing Correlation and Continuity for Hyperspectral Reconstruction from RGB Images [64.80875911446937]
  RGB画像からのHSI再構成のための相関連続性ネットワーク(CCNet)を提案する。 局所スペクトルの相関について,GrSCM(Group-wise Spectral correlation Modeling)モジュールを紹介する。 グローバルスペクトルの連続性のために、我々はNeSCMモジュールを設計する。
  論文  参考訳（メタデータ） (2025-01-02T15:14:40Z)
• ESSAformer: Efficient Transformer for Hyperspectral Image Super-resolution [76.7408734079706]
  単一ハイパースペクトル像超解像(単一HSI-SR)は、低分解能観測から高分解能ハイパースペクトル像を復元することを目的としている。 本稿では,1つのHSI-SRの繰り返し精製構造を持つESSA注目組込みトランスフォーマネットワークであるESSAformerを提案する。
  論文  参考訳（メタデータ） (2023-07-26T07:45:14Z)
• Spectral Enhanced Rectangle Transformer for Hyperspectral Image Denoising [64.11157141177208]
  ハイパースペクトル画像の空間的およびスペクトル的相関をモデル化するスペクトル拡張矩形変換器を提案する。 前者に対しては、長方形自己アテンションを水平および垂直に利用し、空間領域における非局所的類似性を捉える。 後者のために,空間スペクトル立方体の大域的低ランク特性を抽出し,雑音を抑制するスペクトル拡張モジュールを設計する。
  論文  参考訳（メタデータ） (2023-04-03T09:42:13Z)
• Hybrid Spectral Denoising Transformer with Guided Attention [34.34075175179669]
  ハイブリットスペクトルデノナイジング用ハイブリットスペクトルデノナイジングトランス(HSDT)を提案する。 我々のHSDTは、計算オーバーヘッドを低く保ちながら、既存の最先端手法よりも大幅に優れています。
  論文  参考訳（メタデータ） (2023-03-16T02:24:31Z)
• Exploring Invariant Representation for Visible-Infrared Person Re-Identification [77.06940947765406]
  異なるスペクトルを横断する歩行者にアイデンティティを関連付けることを目的とした、クロススペクトルの人物再識別は、モダリティの相違の主な課題に直面している。 本稿では、ロバスト機能マイニングネットワーク(RFM)と呼ばれるエンドツーエンドのハイブリッド学習フレームワークにおいて、画像レベルと特徴レベルの両方の問題に対処する。 RegDBとSYSU-MM01という2つの標準的なクロススペクトル人物識別データセットの実験結果により,最先端の性能が示された。
  論文  参考訳（メタデータ） (2023-02-02T05:24:50Z)
• Hyperspectral Image Denoising Using Non-convex Local Low-rank and Sparse Separation with Spatial-Spectral Total Variation Regularization [49.55649406434796]
  本研究では,HSI復調のためのロバストな主成分分析のための新しい非特異なアプローチを提案する。 我々は、ランクとスパースコンポーネントの両方に対する正確な近似を開発する。 シミュレーションと実HSIの両方の実験により,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2022-01-08T11:48:46Z)
• Mask-guided Spectral-wise Transformer for Efficient Hyperspectral Image Reconstruction [127.20208645280438]
  ハイパースペクトル画像(HSI)再構成は、2次元計測から3次元空間スペクトル信号を復元することを目的としている。 スペクトル間相互作用のモデル化は、HSI再構成に有用である。 Mask-guided Spectral-wise Transformer (MST) は,HSI再構成のための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-11-15T16:59:48Z)
• 3D Quasi-Recurrent Neural Network for Hyperspectral Image Denoising [25.641742612227148]
  HS画像中の構造スペクトル相関を抽出するために3次元畳み込みを用いる。 因果依存をなくすために グローバルな方向構造が 交互に導入される。 HSI復調実験は、最先端の計算よりも大幅に改善された。
  論文  参考訳（メタデータ） (2020-03-10T06:14:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。