論文の概要: Learning Exhaustive Correlation for Spectral Super-Resolution: Where Unified Spatial-Spectral Attention Meets Mutual Linear Dependence

• arxiv url: http://arxiv.org/abs/2312.12833v1
• Date: Wed, 20 Dec 2023 08:30:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-21 16:28:04.113316
• Title: Learning Exhaustive Correlation for Spectral Super-Resolution: Where Unified Spatial-Spectral Attention Meets Mutual Linear Dependence
• Title（参考訳）: スペクトル超解法のための学習的排他的相関:空間スペクトルの統一が相互線形依存と出会う場合
• Authors: Hongyuan Wang, Lizhi Wang, Jiang Xu, Chang Chen, Xue Hu, Fenglong Song and Youliang Yan
• Abstract要約: RGB画像からハイパースペクトル画像(HSI)へのスペクトル超解像は、計算写真分野への関心が高まっている。 スペクトル超解像の重要な側面は、HSI内の相関を利用することである。 既存のトランスフォーマーは空間的あるいはスペクトル的な相関を重視しており、HSIの3次元特徴を損なう。 スペクトル超解像のための新しい Exhaustive correlation Transformer (ECT) を提案する。
• 参考スコア（独自算出の注目度）: 27.481724355600974
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spectral super-resolution from the easily obtainable RGB image to hyperspectral image (HSI) has drawn increasing interest in the field of computational photography. The crucial aspect of spectral super-resolution lies in exploiting the correlation within HSIs. However, two types of bottlenecks in existing Transformers limit performance improvement and practical applications. First, existing Transformers often separately emphasize either spatial-wise or spectral-wise correlation, disrupting the 3D features of HSI and hindering the exploitation of unified spatial-spectral correlation. Second, the existing self-attention mechanism learns the correlation between pairs of tokens and captures the full-rank correlation matrix, leading to its inability to establish mutual linear dependence among multiple tokens. To address these issues, we propose a novel Exhaustive Correlation Transformer (ECT) for spectral super-resolution. First, we propose a Spectral-wise Discontinuous 3D (SD3D) splitting strategy, which models unified spatial-spectral correlation by simultaneously utilizing spatial-wise continuous splitting and spectral-wise discontinuous splitting. Second, we propose a Dynamic Low-Rank Mapping (DLRM) model, which captures mutual linear dependence among multiple tokens through a dynamically calculated low-rank dependence map. By integrating unified spatial-spectral attention with mutual linear dependence, our ECT can establish exhaustive correlation within HSI. The experimental results on both simulated and real data indicate that our method achieves state-of-the-art performance. Codes and pretrained models will be available later.
• Abstract（参考訳）: 容易に取得可能なRGB画像からハイパースペクトル画像(HSI)へのスペクトル超解像は、計算写真分野への関心が高まっている。 スペクトル超解像の重要な側面は、HSI内の相関を利用することである。 しかし、既存のトランスフォーマーにおける2つのタイプのボトルネックは、性能改善と実用的な応用を制限している。 まず、既存のトランスフォーマーは、空間的またはスペクトル的相関を個別に強調し、HSIの3次元特徴を乱し、空間的・スペクトル的相関の統一を阻害する。 第二に、既存の自己注意機構はトークンのペア間の相関を学習し、フルランク相関行列をキャプチャし、複数のトークン間の相互線形依存を確立することができない。 これらの問題に対処するために,スペクトル超解像のための新しい Exhaustive correlation Transformer (ECT) を提案する。 まず,空間的連続分割とスペクトル的不連続分割を同時に利用することにより,空間的スペクトル相関を統一したスペクトル的不連続分割戦略を提案する。 第二に、動的に計算された低ランク依存マップを通して複数のトークン間の相互線形依存をキャプチャする動的低ランクマッピング(DLRM)モデルを提案する。 統一的な空間スペクトル注意と相互線形依存を統合することにより, ect は hsi 内の排他的相関を確立することができる。 シミュレーションデータと実データの両方を用いた実験結果から,本手法が最先端性能を実現することを示す。 コードと事前訓練されたモデルは後日公開される。

関連論文リスト

• ESSAformer: Efficient Transformer for Hyperspectral Image Super-resolution [76.7408734079706]
  単一ハイパースペクトル像超解像(単一HSI-SR)は、低分解能観測から高分解能ハイパースペクトル像を復元することを目的としている。 本稿では,1つのHSI-SRの繰り返し精製構造を持つESSA注目組込みトランスフォーマネットワークであるESSAformerを提案する。
  論文  参考訳（メタデータ） (2023-07-26T07:45:14Z)
• Spectral Enhanced Rectangle Transformer for Hyperspectral Image Denoising [64.11157141177208]
  ハイパースペクトル画像の空間的およびスペクトル的相関をモデル化するスペクトル拡張矩形変換器を提案する。 前者に対しては、長方形自己アテンションを水平および垂直に利用し、空間領域における非局所的類似性を捉える。 後者のために,空間スペクトル立方体の大域的低ランク特性を抽出し,雑音を抑制するスペクトル拡張モジュールを設計する。
  論文  参考訳（メタデータ） (2023-04-03T09:42:13Z)
• Hybrid Spectral Denoising Transformer with Guided Attention [34.34075175179669]
  ハイブリットスペクトルデノナイジング用ハイブリットスペクトルデノナイジングトランス(HSDT)を提案する。 我々のHSDTは、計算オーバーヘッドを低く保ちながら、既存の最先端手法よりも大幅に優れています。
  論文  参考訳（メタデータ） (2023-03-16T02:24:31Z)
• Exploring Invariant Representation for Visible-Infrared Person Re-Identification [77.06940947765406]
  異なるスペクトルを横断する歩行者にアイデンティティを関連付けることを目的とした、クロススペクトルの人物再識別は、モダリティの相違の主な課題に直面している。 本稿では、ロバスト機能マイニングネットワーク(RFM)と呼ばれるエンドツーエンドのハイブリッド学習フレームワークにおいて、画像レベルと特徴レベルの両方の問題に対処する。 RegDBとSYSU-MM01という2つの標準的なクロススペクトル人物識別データセットの実験結果により,最先端の性能が示された。
  論文  参考訳（メタデータ） (2023-02-02T05:24:50Z)
• Mixed Attention Network for Hyperspectral Image Denoising [9.723155514555765]
  我々は,低レベル・高レベルの空間的有意な特徴の相互作用だけでなく,スペクトル間相関とスペクトル内相関を同時に検討する混合注意ネットワーク(MAN)を提案する。 我々のMANは、低コストのパラメータとランニング時間を維持しながら、シミュレートされた実雑音設定における既存の最先端手法よりも優れています。
  論文  参考訳（メタデータ） (2023-01-27T04:02:35Z)
• Hyperspectral Image Denoising Using Non-convex Local Low-rank and Sparse Separation with Spatial-Spectral Total Variation Regularization [49.55649406434796]
  本研究では,HSI復調のためのロバストな主成分分析のための新しい非特異なアプローチを提案する。 我々は、ランクとスパースコンポーネントの両方に対する正確な近似を開発する。 シミュレーションと実HSIの両方の実験により,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2022-01-08T11:48:46Z)
• Mask-guided Spectral-wise Transformer for Efficient Hyperspectral Image Reconstruction [127.20208645280438]
  ハイパースペクトル画像(HSI)再構成は、2次元計測から3次元空間スペクトル信号を復元することを目的としている。 スペクトル間相互作用のモデル化は、HSI再構成に有用である。 Mask-guided Spectral-wise Transformer (MST) は,HSI再構成のための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-11-15T16:59:48Z)
• Tensor Representations for Action Recognition [54.710267354274194]
  シーケンスにおける人間の行動は、空間的特徴とその時間的ダイナミクスの複雑な相互作用によって特徴づけられる。 アクション認識タスクの視覚的特徴間の高次関係を捉えるための新しいテンソル表現を提案する。 我々は,高次テンソルといわゆる固有値パワー正規化(NEP)を用いて,高次事象のスペクトル検出を行う。
  論文  参考訳（メタデータ） (2020-12-28T17:27:18Z)
• 3D Quasi-Recurrent Neural Network for Hyperspectral Image Denoising [25.641742612227148]
  HS画像中の構造スペクトル相関を抽出するために3次元畳み込みを用いる。 因果依存をなくすために グローバルな方向構造が 交互に導入される。 HSI復調実験は、最先端の計算よりも大幅に改善された。
  論文  参考訳（メタデータ） (2020-03-10T06:14:53Z)
• Spectral Pyramid Graph Attention Network for Hyperspectral Image Classification [5.572542792318872]
  畳み込みニューラルネットワーク(CNN)は、ハイパースペクトル画像(HSI)分類において大きな進歩を遂げている。 標準畳み込みカーネルは、データポイント間の本質的な接続を無視し、結果として、領域のデラインが貧弱になり、小さなスプリアス予測がもたらされる。 本稿では,これらの2つの問題に明示的に対処する新しいアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-01-20T13:49:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。