論文の概要: Learning Exhaustive Correlation for Spectral Super-Resolution: Where Spatial-Spectral Attention Meets Linear Dependence
- arxiv url: http://arxiv.org/abs/2312.12833v2
- Date: Mon, 18 Mar 2024 09:02:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-20 02:32:43.030603
- Title: Learning Exhaustive Correlation for Spectral Super-Resolution: Where Spatial-Spectral Attention Meets Linear Dependence
- Title（参考訳）: スペクトル超解法における学習行動相関--空間スペクトル注意が線形依存と出会う場合-
- Authors: Hongyuan Wang, Lizhi Wang, Jiang Xu, Chang Chen, Xue Hu, Fenglong Song, Youliang Yan,
- Abstract要約: スペクトル超解像は、容易に取得可能なRGB画像からハイパースペクトル像(HSI)を復元することを目的としている。
既存のTransformerのボトルネックは2種類あり、パフォーマンスの改善と実用性に制限がある。
スペクトル超解像のための新しい Exhaustive correlation Transformer (ECT) を提案する。
- 参考スコア（独自算出の注目度）: 26.1694389791047
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spectral super-resolution that aims to recover hyperspectral image (HSI) from easily obtainable RGB image has drawn increasing interest in the field of computational photography. The crucial aspect of spectral super-resolution lies in exploiting the correlation within HSIs. However, two types of bottlenecks in existing Transformers limit performance improvement and practical applications. First, existing Transformers often separately emphasize either spatial-wise or spectral-wise correlation, disrupting the 3D features of HSI and hindering the exploitation of unified spatial-spectral correlation. Second, existing self-attention mechanism always establishes full-rank correlation matrix by learning the correlation between pairs of tokens, leading to its inability to describe linear dependence widely existing in HSI among multiple tokens. To address these issues, we propose a novel Exhaustive Correlation Transformer (ECT) for spectral super-resolution. First, we propose a Spectral-wise Discontinuous 3D (SD3D) splitting strategy, which models unified spatial-spectral correlation by integrating spatial-wise continuous splitting strategy and spectral-wise discontinuous splitting strategy. Second, we propose a Dynamic Low-Rank Mapping (DLRM) model, which captures linear dependence among multiple tokens through a dynamically calculated low-rank dependence map. By integrating unified spatial-spectral attention and linear dependence, our ECT can model exhaustive correlation within HSI. The experimental results on both simulated and real data indicate that our method achieves state-of-the-art performance. Codes and pretrained models will be available later.
- Abstract（参考訳）: 容易に取得可能なRGB画像からハイパースペクトル像(HSI)を復元することを目的としたスペクトル超解像は、計算写真分野への関心が高まっている。
スペクトル超解像の重要な側面は、HSI内の相関を利用することである。
しかし、既存のTransformerのボトルネックには2つの種類がある。
まず、既存のトランスフォーマーは、空間的またはスペクトル的相関を個別に強調し、HSIの3次元特徴を乱し、空間的・スペクトル的相関の統一を阻害する。
第二に、既存の自己注意機構は、トークンのペア間の相関を学習することで、常にフルランク相関行列を確立し、複数のトークン間でHSIに広く存在する線形依存を記述することができない。
これらの問題に対処するために,スペクトル超解像のための新しい Exhaustive correlation Transformer (ECT) を提案する。
まず、空間的に連続的な分割戦略とスペクトル的に不連続な分割戦略を統合することにより、空間的スペクトル相関を統一したスペクトル的不連続な3D分割戦略を提案する。
第二に、動的に計算された低ランク依存マップを用いて、複数のトークン間の線形依存をキャプチャする動的低ランクマッピング(DLRM)モデルを提案する。
統合された空間スペクトルの注意と線形依存を統合することで、われわれのECTはHSI内での徹底的な相関をモデル化できる。
シミュレーションデータと実データの両方を用いた実験結果から,本手法が最先端の性能を達成できることが示唆された。
コードと事前訓練されたモデルは後日公開される。
関連論文リスト
- SpectralMamba: Efficient Mamba for Hyperspectral Image Classification [39.18999103115206]
リカレントニューラルネットワークとトランスフォーマーは、ハイパースペクトル(HS)イメージングにおけるほとんどの応用を支配している。
我々は、HS画像分類のための効率的なディープラーニングフレームワークを組み込んだ新しい状態空間モデルであるSpectralMambaを提案する。
SpectralMambaは、パフォーマンスと効率の両面から、驚くほど有望な勝利を生み出している。
論文 参考訳（メタデータ） (2024-04-12T14:12:03Z) - ESSAformer: Efficient Transformer for Hyperspectral Image
Super-resolution [76.7408734079706]
単一ハイパースペクトル像超解像(単一HSI-SR)は、低分解能観測から高分解能ハイパースペクトル像を復元することを目的としている。
本稿では,1つのHSI-SRの繰り返し精製構造を持つESSA注目組込みトランスフォーマネットワークであるESSAformerを提案する。
論文 参考訳（メタデータ） (2023-07-26T07:45:14Z) - Spectral Enhanced Rectangle Transformer for Hyperspectral Image
Denoising [64.11157141177208]
ハイパースペクトル画像の空間的およびスペクトル的相関をモデル化するスペクトル拡張矩形変換器を提案する。
前者に対しては、長方形自己アテンションを水平および垂直に利用し、空間領域における非局所的類似性を捉える。
後者のために,空間スペクトル立方体の大域的低ランク特性を抽出し,雑音を抑制するスペクトル拡張モジュールを設計する。
論文 参考訳（メタデータ） (2023-04-03T09:42:13Z) - Hybrid Spectral Denoising Transformer with Guided Attention [34.34075175179669]
ハイブリットスペクトルデノナイジング用ハイブリットスペクトルデノナイジングトランス(HSDT)を提案する。
我々のHSDTは、計算オーバーヘッドを低く保ちながら、既存の最先端手法よりも大幅に優れています。
論文 参考訳（メタデータ） (2023-03-16T02:24:31Z) - Exploring Invariant Representation for Visible-Infrared Person
Re-Identification [77.06940947765406]
異なるスペクトルを横断する歩行者にアイデンティティを関連付けることを目的とした、クロススペクトルの人物再識別は、モダリティの相違の主な課題に直面している。
本稿では、ロバスト機能マイニングネットワーク(RFM)と呼ばれるエンドツーエンドのハイブリッド学習フレームワークにおいて、画像レベルと特徴レベルの両方の問題に対処する。
RegDBとSYSU-MM01という2つの標準的なクロススペクトル人物識別データセットの実験結果により,最先端の性能が示された。
論文 参考訳（メタデータ） (2023-02-02T05:24:50Z) - Hyperspectral Image Denoising Using Non-convex Local Low-rank and Sparse
Separation with Spatial-Spectral Total Variation Regularization [49.55649406434796]
本研究では,HSI復調のためのロバストな主成分分析のための新しい非特異なアプローチを提案する。
我々は、ランクとスパースコンポーネントの両方に対する正確な近似を開発する。
シミュレーションと実HSIの両方の実験により,提案手法の有効性が示された。
論文 参考訳（メタデータ） (2022-01-08T11:48:46Z) - Implicit Neural Representation Learning for Hyperspectral Image
Super-Resolution [0.0]
Inlicit Neural Representations (INR)は、新しい効果的な表現として進歩を遂げている。
本稿では、空間座標を対応するスペクトル放射率値にマッピングする連続関数により、HSIを表すINRに基づく新しいHSI再構成モデルを提案する。
論文 参考訳（メタデータ） (2021-12-20T14:07:54Z) - Mask-guided Spectral-wise Transformer for Efficient Hyperspectral Image
Reconstruction [127.20208645280438]
ハイパースペクトル画像(HSI)再構成は、2次元計測から3次元空間スペクトル信号を復元することを目的としている。
スペクトル間相互作用のモデル化は、HSI再構成に有用である。
Mask-guided Spectral-wise Transformer (MST) は,HSI再構成のための新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2021-11-15T16:59:48Z) - Spatial-Spectral Clustering with Anchor Graph for Hyperspectral Image [88.60285937702304]
本稿では、HSIデータクラスタリングのための空間スペクトルクラスタリングとアンカーグラフ(SSCAG)という新しい非監視アプローチを提案する。
提案されたSSCAGは最先端のアプローチと競合する。
論文 参考訳（メタデータ） (2021-04-24T08:09:27Z) - 3D Quasi-Recurrent Neural Network for Hyperspectral Image Denoising [25.641742612227148]
HS画像中の構造スペクトル相関を抽出するために3次元畳み込みを用いる。
因果依存をなくすために グローバルな方向構造が 交互に導入される。
HSI復調実験は、最先端の計算よりも大幅に改善された。
論文 参考訳（メタデータ） (2020-03-10T06:14:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。