論文の概要: SpectralFormer: Rethinking Hyperspectral Image Classification with Transformers

• arxiv url: http://arxiv.org/abs/2107.02988v1
• Date: Wed, 7 Jul 2021 02:59:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2021-07-09 01:04:01.851696
• Title: SpectralFormer: Rethinking Hyperspectral Image Classification with Transformers
• Title（参考訳）: spectrumformer:transformsを用いたハイパースペクトル画像分類の再考
• Authors: Danfeng Hong and Zhu Han and Jing Yao and Lianru Gao and Bing Zhang and Antonio Plaza and Jocelyn Chanussot
• Abstract要約: ハイパースペクトル(HS)画像は、ほぼ連続したスペクトル情報によって特徴づけられる。 CNNは、HS画像分類において強力な特徴抽出器であることが証明されている。 我々は、HS画像分類のためのulSpectralFormerと呼ばれる新しいバックボーンネットワークを提案する。
• 参考スコア（独自算出の注目度）: 91.09957836250209
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hyperspectral (HS) images are characterized by approximately contiguous spectral information, enabling the fine identification of materials by capturing subtle spectral discrepancies. Owing to their excellent locally contextual modeling ability, convolutional neural networks (CNNs) have been proven to be a powerful feature extractor in HS image classification. However, CNNs fail to mine and represent the sequence attributes of spectral signatures well due to the limitations of their inherent network backbone. To solve this issue, we rethink HS image classification from a sequential perspective with transformers, and propose a novel backbone network called \ul{SpectralFormer}. Beyond band-wise representations in classic transformers, SpectralFormer is capable of learning spectrally local sequence information from neighboring bands of HS images, yielding group-wise spectral embeddings. More significantly, to reduce the possibility of losing valuable information in the layer-wise propagation process, we devise a cross-layer skip connection to convey memory-like components from shallow to deep layers by adaptively learning to fuse "soft" residuals across layers. It is worth noting that the proposed SpectralFormer is a highly flexible backbone network, which can be applicable to both pixel- and patch-wise inputs. We evaluate the classification performance of the proposed SpectralFormer on three HS datasets by conducting extensive experiments, showing the superiority over classic transformers and achieving a significant improvement in comparison with state-of-the-art backbone networks. The codes of this work will be available at \url{https://sites.google.com/view/danfeng-hong} for the sake of reproducibility.
• Abstract（参考訳）: ハイパースペクトル(HS)画像は、ほぼ連続したスペクトル情報によって特徴付けられ、微妙なスペクトルの差を捉えて、物質の微細な識別を可能にする。 局所的な文脈モデリング能力に優れており、畳み込みニューラルネットワーク(CNN)はHS画像分類において強力な特徴抽出器であることが証明されている。 しかし、cnnは固有のネットワークバックボーンの制限のため、スペクトルシグネチャのシーケンス属性のマイニングや表現に失敗している。 この問題を解決するために,トランスフォーマーを用いた逐次的視点からHS画像分類を再考し,新しいバックボーンネットワークである \ul{SpectralFormer} を提案する。 古典的な変換器のバンドワイド表現以外にも、SpectralFormerは、隣接するHS画像の帯域からスペクトル局所的なシーケンス情報を学習し、グループワイドのスペクトル埋め込みを生成することができる。 さらに,層間伝搬プロセスにおいて貴重な情報を失う可能性を減らすため,層間接続を考案し,層間における「ソフト」残差の融合を適応的に学習することにより,メモリのようなコンポーネントを浅層から深層へ伝達する。 提案されたSpectralFormerは、非常に柔軟なバックボーンネットワークであり、ピクセルとパッチの両方の入力に適用可能である点に注意が必要だ。 提案したSpectralFormerの3つのHSデータセットに対する分類性能の評価を行い,従来のトランスフォーマーよりも優れた性能を示し,最先端のバックボーンネットワークと比較して大幅に改善した。 この作業のコードは再現性のために \url{https://sites.google.com/view/danfeng-hong} で入手できる。

関連論文リスト

• Mixed-granularity Implicit Representation for Continuous Hyperspectral Compressive Reconstruction [16.975538181162616]
  本研究では,暗黙的ニューラル表現を用いた連続型ハイパースペクトル画像再構成法を提案する。 暗黙的な神経表現を活用することで、MGIRフレームワークは任意の望まれる空間スペクトル分解能の再構成を可能にする。
  論文  参考訳（メタデータ） (2025-03-17T03:37:42Z)
• Dual-stage Hyperspectral Image Classification Model with Spectral Supertoken [15.426635239291729]
  スーパーピクセルの概念に触発されたDual-stage Spectral Supertoken(DSTC)を紹介する。 DSTCはスペクトル微分に基づく画素クラスタリングを用いて、類似のスペクトル特性を持つグループ画素をスペクトルスーパートーケンに分類する。 適応的に重みを異なるカテゴリに割り当てるクラスプロポーションベースのソフトラベルも提案する。
  論文  参考訳（メタデータ） (2024-07-10T01:58:30Z)
• 3D-Convolution Guided Spectral-Spatial Transformer for Hyperspectral Image Classification [12.729885732069926]
  視覚変換器(ViT)は畳み込みニューラルネットワーク(CNN)よりも有望な分類性能を示した ViTはシーケンシャルなデータを出力するが、CNNのようなスペクトル空間情報を抽出することはできない。 HSI分類のための3次元畳み込み誘導スペクトル空間変換器(3D-ConvSST)を提案する。
  論文  参考訳（メタデータ） (2024-04-20T03:39:54Z)
• DiffSpectralNet : Unveiling the Potential of Diffusion Models for Hyperspectral Image Classification [6.521187080027966]
  我々は拡散と変圧器技術を組み合わせたDiffSpectralNetと呼ばれる新しいネットワークを提案する。 まず,拡散モデルに基づく教師なし学習フレームワークを用いて,高レベル・低レベルのスペクトル空間的特徴を抽出する。 この拡散法はスペクトル空間の特徴を多様かつ有意義に抽出し,HSI分類の改善につながる。
  論文  参考訳（メタデータ） (2023-10-29T15:26:37Z)
• Dynamic Spectrum Mixer for Visual Recognition [17.180863898764194]
  動的スペクトルミキサー (DSM) という,コンテンツ適応型だが計算効率のよい構造を提案する。 DSMはコサイン変換を用いて周波数領域におけるトークンの相互作用を表す。 ログ線形複雑性で長期空間依存を学習することができる。
  論文  参考訳（メタデータ） (2023-09-13T04:51:15Z)
• DCN-T: Dual Context Network with Transformer for Hyperspectral Image Classification [109.09061514799413]
  複雑な撮像条件による空間変動のため,HSI分類は困難である。 本稿では,HSIを高品質な三スペクトル画像に変換する三スペクトル画像生成パイプラインを提案する。 提案手法は,HSI分類における最先端手法よりも優れている。
  論文  参考訳（メタデータ） (2023-04-19T18:32:52Z)
• A heterogeneous group CNN for image super-resolution [127.2132400582117]
  畳み込みニューラルネットワーク(CNN)は、深いアーキテクチャを通して顕著な性能を得た。 異種グループSR CNN(HGSRCNN)を,異なるタイプの構造情報を利用して高品質な画像を得る。
  論文  参考訳（メタデータ） (2022-09-26T04:14:59Z)
• On Improving the Performance of Glitch Classification for Gravitational Wave Detection by using Generative Adversarial Networks [0.0]
  GAN(Generative Adversarial Networks)を用いた分類性能向上のためのフレームワークを提案する。 提案手法は,ディープネットワークを用いたスペクトルの分類における伝達学習の代替となることを示す。
  論文  参考訳（メタデータ） (2022-07-08T16:35:17Z)
• Less is More: Pay Less Attention in Vision Transformers [61.05787583247392]
  注意の少ないvIsion Transformerは、畳み込み、完全接続層、自己アテンションが、画像パッチシーケンスを処理するためにほぼ同等な数学的表現を持つという事実に基づいている。 提案したLITは、画像分類、オブジェクト検出、インスタンス分割を含む画像認識タスクにおいて有望な性能を達成する。
  論文  参考訳（メタデータ） (2021-05-29T05:26:07Z)
• Generative Hierarchical Features from Synthesizing Images [65.66756821069124]
  画像合成の学習は、広範囲のアプリケーションにまたがって一般化可能な顕著な階層的な視覚的特徴をもたらす可能性があることを示す。 生成的階層的特徴(Generative Hierarchical Feature, GH-Feat)と呼ばれるエンコーダが生成する視覚的特徴は、生成的タスクと識別的タスクの両方に強い伝達性を有する。
  論文  参考訳（メタデータ） (2020-07-20T18:04:14Z)
• Hyperspectral Image Super-resolution via Deep Progressive Zero-centric Residual Learning [62.52242684874278]
  空間情報とスペクトル情報の相互モダリティ分布が問題となる。 本稿では,PZRes-Netという,新しいテクスライトウェイトなディープニューラルネットワークベースのフレームワークを提案する。 本フレームワークは,高分解能かつテクテッセロ中心の残像を学習し,シーンの空間的詳細を高頻度で表現する。
  論文  参考訳（メタデータ） (2020-06-18T06:32:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。