論文の概要: DiffFormer: a Differential Spatial-Spectral Transformer for Hyperspectral Image Classification

• arxiv url: http://arxiv.org/abs/2412.17350v1
• Date: Mon, 23 Dec 2024 07:21:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 15:58:01.164849
• Title: DiffFormer: a Differential Spatial-Spectral Transformer for Hyperspectral Image Classification
• Title（参考訳）: DiffFormer:ハイパースペクトル画像分類のための微分空間スペクトル変換器
• Authors: Muhammad Ahmad, Manuel Mazzara, Salvatore Distefano, Adil Mehmood Khan, Silvia Liberata Ullo,
• Abstract要約: 超スペクトル画像分類(HSIC)は、高次元データをスペクトル情報と空間情報で分析する可能性から注目されている。 本稿では、スペクトル冗長性や空間不連続性といったHSICの固有の課題に対処するために、差分空間スペクトル変換器(DiffFormer)を提案する。 ベンチマークハイパースペクトルデータセットの実験は、分類精度、計算効率、一般化可能性の観点から、DiffFormerの優位性を示す。
• 参考スコア（独自算出の注目度）: 3.271106943956333
• License:
• Abstract: Hyperspectral image classification (HSIC) has gained significant attention because of its potential in analyzing high-dimensional data with rich spectral and spatial information. In this work, we propose the Differential Spatial-Spectral Transformer (DiffFormer), a novel framework designed to address the inherent challenges of HSIC, such as spectral redundancy and spatial discontinuity. The DiffFormer leverages a Differential Multi-Head Self-Attention (DMHSA) mechanism, which enhances local feature discrimination by introducing differential attention to accentuate subtle variations across neighboring spectral-spatial patches. The architecture integrates Spectral-Spatial Tokenization through three-dimensional (3D) convolution-based patch embeddings, positional encoding, and a stack of transformer layers equipped with the SWiGLU activation function for efficient feature extraction (SwiGLU is a variant of the Gated Linear Unit (GLU) activation function). A token-based classification head further ensures robust representation learning, enabling precise labeling of hyperspectral pixels. Extensive experiments on benchmark hyperspectral datasets demonstrate the superiority of DiffFormer in terms of classification accuracy, computational efficiency, and generalizability, compared to existing state-of-the-art (SOTA) methods. In addition, this work provides a detailed analysis of computational complexity, showcasing the scalability of the model for large-scale remote sensing applications. The source code will be made available at \url{https://github.com/mahmad000/DiffFormer} after the first round of revision.
• Abstract（参考訳）: 超スペクトル画像分類(HSIC)は、高次元データをスペクトル情報と空間情報で分析する可能性から注目されている。 本研究では、スペクトル冗長性や空間不連続性といったHSIC固有の課題に対処する新しいフレームワークである差分空間スペクトル変換器(DiffFormer)を提案する。 DiffFormerは、DMHSA(differial Multi-Head Self-Attention)メカニズムを利用して、近隣のスペクトル空間パッチ間の微妙な変化をアクセントする差分注意を導入することで、局所的な特徴の識別を強化する。 このアーキテクチャは、3次元の畳み込みベースのパッチ埋め込み、位置符号化、および効率的な特徴抽出のためのSWiGLUアクティベーション機能を備えたトランスフォーマー層のスタック(SwiGLUはGated Linear Unit(GLU)アクティベーション機能の変種である)を通じてスペクトル-空間トークン化を統合する。 トークンベースの分類ヘッドは、さらに堅牢な表現学習を保証し、ハイパースペクトル画素の正確なラベル付けを可能にする。 ベンチマークハイパースペクトルデータセットの大規模な実験は、従来のSOTA法と比較して、分類精度、計算効率、一般化性においてDiffFormerの優位性を示す。 さらに、この研究は、大規模リモートセンシングアプリケーションのためのモデルのスケーラビリティを示す、計算複雑性の詳細な分析を提供する。 ソースコードは、最初のリビジョンの後、 \url{https://github.com/mahmad000/DiffFormer}で入手できる。

関連論文リスト

• SpectralKAN: Kolmogorov-Arnold Network for Hyperspectral Images Change Detection [23.75924656112022]
  ハイパースペクトル画像(HSI)から特徴を正確に抽出する深層学習法 これらのアルゴリズムは、HSIs Change Detection (HSIs-CD) において非常によく機能する。 我々は、HSIs-CD(SpectralKAN)のためのスペクトルKolmogorov-Arnoldネットワークを提案する。 SpectralKANは、パラメータ、FLOP、GPUメモリ、トレーニングとテスト時間が少なくながら、高いHSIs-CD精度を維持している。
  論文  参考訳（メタデータ） (2024-07-01T04:09:24Z)
• CMTNet: Convolutional Meets Transformer Network for Hyperspectral Images Classification [3.821081081400729]
  現在の畳み込みニューラルネットワーク(CNN)は、ハイパースペクトルデータの局所的な特徴に焦点を当てている。 Transformerフレームワークは、ハイパースペクトル画像からグローバルな特徴を抽出する。 本研究は、CMTNet(Convolutional Meet Transformer Network)を紹介する。
  論文  参考訳（メタデータ） (2024-06-20T07:56:51Z)
• HyperSIGMA: Hyperspectral Intelligence Comprehension Foundation Model [88.13261547704444]
  Hyper SIGMAは、HSI解釈のためのビジョントランスフォーマーベースの基礎モデルである。 特別に設計されたスペクトル拡張モジュールを使用して、空間的特徴とスペクトル的特徴を統合する。 スケーラビリティ、堅牢性、クロスモーダル転送能力、実世界の適用性において大きなメリットがある。
  論文  参考訳（メタデータ） (2024-06-17T13:22:58Z)
• SpectralGPT: Spectral Remote Sensing Foundation Model [60.023956954916414]
  SpectralGPTという名前のユニバーサルRS基盤モデルは、新しい3D生成事前学習変換器(GPT)を用いてスペクトルRS画像を処理するために構築されている。 既存の基礎モデルと比較して、SpectralGPTは、様々なサイズ、解像度、時系列、領域をプログレッシブトレーニング形式で対応し、広範なRSビッグデータのフル活用を可能にする。 我々の評価では、事前訓練されたスペクトルGPTモデルによる顕著な性能向上が強調され、地球科学分野におけるスペクトルRSビッグデータ応用の進展に有意な可能性を示唆している。
  論文  参考訳（メタデータ） (2023-11-13T07:09:30Z)
• DiffSpectralNet : Unveiling the Potential of Diffusion Models for Hyperspectral Image Classification [6.521187080027966]
  我々は拡散と変圧器技術を組み合わせたDiffSpectralNetと呼ばれる新しいネットワークを提案する。 まず,拡散モデルに基づく教師なし学習フレームワークを用いて,高レベル・低レベルのスペクトル空間的特徴を抽出する。 この拡散法はスペクトル空間の特徴を多様かつ有意義に抽出し,HSI分類の改善につながる。
  論文  参考訳（メタデータ） (2023-10-29T15:26:37Z)
• ESSAformer: Efficient Transformer for Hyperspectral Image Super-resolution [76.7408734079706]
  単一ハイパースペクトル像超解像(単一HSI-SR)は、低分解能観測から高分解能ハイパースペクトル像を復元することを目的としている。 本稿では,1つのHSI-SRの繰り返し精製構造を持つESSA注目組込みトランスフォーマネットワークであるESSAformerを提案する。
  論文  参考訳（メタデータ） (2023-07-26T07:45:14Z)
• Boosting the Generalization Ability for Hyperspectral Image Classification using Spectral-spatial Axial Aggregation Transformer [14.594398447576188]
  ハイパースペクトル画像分類(HSIC)タスクでは、最も一般的に使われているモデル検証パラダイムは、画素単位のランダムサンプリングによってトレーニング・テストデータセットを分割することである。 私たちの実験では、トレーニングとテストデータセットが多くの情報を共有しているため、高い精度が達成できたことが分かりました。 本稿では,データセット分割間の一般化を保ったスペクトル-空間軸アグリゲーション変換器モデルSaaFormerを提案する。
  論文  参考訳（メタデータ） (2023-06-29T07:55:43Z)
• Deep Diversity-Enhanced Feature Representation of Hyperspectral Images [87.47202258194719]
  トポロジを改良して3次元畳み込みを補正し,上行階の高次化を図る。 また、要素間の独立性を最大化するために特徴マップに作用する新しい多様性対応正規化(DA-Reg)項を提案する。 提案したRe$3$-ConvSetとDA-Regの優位性を実証するために,様々なHS画像処理および解析タスクに適用する。
  論文  参考訳（メタデータ） (2023-01-15T16:19:18Z)
• Coarse-to-Fine Sparse Transformer for Hyperspectral Image Reconstruction [138.04956118993934]
  本稿では, サース・トゥ・ファインス・スパース・トランス (CST) を用いた新しいトランス方式を提案する。 HSI再構成のための深層学習にHSI空間を埋め込んだCST 特に,CSTは,提案したスペクトル認識スクリーニング機構(SASM)を粗いパッチ選択に使用し,選択したパッチを,細かなピクセルクラスタリングと自己相似性キャプチャのために,カスタマイズしたスペクトル集約ハッシュ型マルチヘッド自己アテンション(SAH-MSA)に入力する。
  論文  参考訳（メタデータ） (2022-03-09T16:17:47Z)
• Mask-guided Spectral-wise Transformer for Efficient Hyperspectral Image Reconstruction [127.20208645280438]
  ハイパースペクトル画像(HSI)再構成は、2次元計測から3次元空間スペクトル信号を復元することを目的としている。 スペクトル間相互作用のモデル化は、HSI再構成に有用である。 Mask-guided Spectral-wise Transformer (MST) は,HSI再構成のための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-11-15T16:59:48Z)
• Spectral Pyramid Graph Attention Network for Hyperspectral Image Classification [5.572542792318872]
  畳み込みニューラルネットワーク(CNN)は、ハイパースペクトル画像(HSI)分類において大きな進歩を遂げている。 標準畳み込みカーネルは、データポイント間の本質的な接続を無視し、結果として、領域のデラインが貧弱になり、小さなスプリアス予測がもたらされる。 本稿では,これらの2つの問題に明示的に対処する新しいアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-01-20T13:49:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。