論文の概要: SpectralFormer: Rethinking Hyperspectral Image Classification with Transformers

• arxiv url: http://arxiv.org/abs/2107.02988v1
• Date: Wed, 7 Jul 2021 02:59:21 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-09 01:04:01.851696
• Title: SpectralFormer: Rethinking Hyperspectral Image Classification with Transformers
• Title（参考訳）: spectrumformer:transformsを用いたハイパースペクトル画像分類の再考
• Authors: Danfeng Hong and Zhu Han and Jing Yao and Lianru Gao and Bing Zhang and Antonio Plaza and Jocelyn Chanussot
• Abstract要約: ハイパースペクトル(HS)画像は、ほぼ連続したスペクトル情報によって特徴づけられる。 CNNは、HS画像分類において強力な特徴抽出器であることが証明されている。 我々は、HS画像分類のためのulSpectralFormerと呼ばれる新しいバックボーンネットワークを提案する。
• 参考スコア（独自算出の注目度）: 91.09957836250209
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hyperspectral (HS) images are characterized by approximately contiguous spectral information, enabling the fine identification of materials by capturing subtle spectral discrepancies. Owing to their excellent locally contextual modeling ability, convolutional neural networks (CNNs) have been proven to be a powerful feature extractor in HS image classification. However, CNNs fail to mine and represent the sequence attributes of spectral signatures well due to the limitations of their inherent network backbone. To solve this issue, we rethink HS image classification from a sequential perspective with transformers, and propose a novel backbone network called \ul{SpectralFormer}. Beyond band-wise representations in classic transformers, SpectralFormer is capable of learning spectrally local sequence information from neighboring bands of HS images, yielding group-wise spectral embeddings. More significantly, to reduce the possibility of losing valuable information in the layer-wise propagation process, we devise a cross-layer skip connection to convey memory-like components from shallow to deep layers by adaptively learning to fuse "soft" residuals across layers. It is worth noting that the proposed SpectralFormer is a highly flexible backbone network, which can be applicable to both pixel- and patch-wise inputs. We evaluate the classification performance of the proposed SpectralFormer on three HS datasets by conducting extensive experiments, showing the superiority over classic transformers and achieving a significant improvement in comparison with state-of-the-art backbone networks. The codes of this work will be available at \url{https://sites.google.com/view/danfeng-hong} for the sake of reproducibility.
• Abstract（参考訳）: ハイパースペクトル(HS)画像は、ほぼ連続したスペクトル情報によって特徴付けられ、微妙なスペクトルの差を捉えて、物質の微細な識別を可能にする。 局所的な文脈モデリング能力に優れており、畳み込みニューラルネットワーク(CNN)はHS画像分類において強力な特徴抽出器であることが証明されている。 しかし、cnnは固有のネットワークバックボーンの制限のため、スペクトルシグネチャのシーケンス属性のマイニングや表現に失敗している。 この問題を解決するために,トランスフォーマーを用いた逐次的視点からHS画像分類を再考し,新しいバックボーンネットワークである \ul{SpectralFormer} を提案する。 古典的な変換器のバンドワイド表現以外にも、SpectralFormerは、隣接するHS画像の帯域からスペクトル局所的なシーケンス情報を学習し、グループワイドのスペクトル埋め込みを生成することができる。 さらに,層間伝搬プロセスにおいて貴重な情報を失う可能性を減らすため,層間接続を考案し,層間における「ソフト」残差の融合を適応的に学習することにより,メモリのようなコンポーネントを浅層から深層へ伝達する。 提案されたSpectralFormerは、非常に柔軟なバックボーンネットワークであり、ピクセルとパッチの両方の入力に適用可能である点に注意が必要だ。 提案したSpectralFormerの3つのHSデータセットに対する分類性能の評価を行い,従来のトランスフォーマーよりも優れた性能を示し,最先端のバックボーンネットワークと比較して大幅に改善した。 この作業のコードは再現性のために \url{https://sites.google.com/view/danfeng-hong} で入手できる。

関連論文リスト

• Dynamic Spectrum Mixer for Visual Recognition [17.180863898764194]
  動的スペクトルミキサー (DSM) という,コンテンツ適応型だが計算効率のよい構造を提案する。 DSMはコサイン変換を用いて周波数領域におけるトークンの相互作用を表す。 ログ線形複雑性で長期空間依存を学習することができる。
  論文  参考訳（メタデータ） (2023-09-13T04:51:15Z)
• DCN-T: Dual Context Network with Transformer for Hyperspectral Image Classification [109.09061514799413]
  複雑な撮像条件による空間変動のため,HSI分類は困難である。 本稿では,HSIを高品質な三スペクトル画像に変換する三スペクトル画像生成パイプラインを提案する。 提案手法は,HSI分類における最先端手法よりも優れている。
  論文  参考訳（メタデータ） (2023-04-19T18:32:52Z)
• Learning A Sparse Transformer Network for Effective Image Deraining [42.01684644627124]
  有効デレインネットワークであるスパーストランス(DRSformer)を提案する。 学習可能なトップk選択演算子を開発し、各クエリのキーから最も重要な注意点を適応的に保持し、より優れた機能アグリゲーションを実現する。 我々は,協調改良デライン方式を示すために,専門家による特徴補償器を混合したモデルを開発した。
  論文  参考訳（メタデータ） (2023-03-21T15:41:57Z)
• A heterogeneous group CNN for image super-resolution [127.2132400582117]
  畳み込みニューラルネットワーク(CNN)は、深いアーキテクチャを通して顕著な性能を得た。 異種グループSR CNN(HGSRCNN)を,異なるタイプの構造情報を利用して高品質な画像を得る。
  論文  参考訳（メタデータ） (2022-09-26T04:14:59Z)
• On Improving the Performance of Glitch Classification for Gravitational Wave Detection by using Generative Adversarial Networks [0.0]
  GAN(Generative Adversarial Networks)を用いた分類性能向上のためのフレームワークを提案する。 提案手法は,ディープネットワークを用いたスペクトルの分類における伝達学習の代替となることを示す。
  論文  参考訳（メタデータ） (2022-07-08T16:35:17Z)
• Multiscale Convolutional Transformer with Center Mask Pretraining for Hyperspectral Image Classificationtion [14.33259265286265]
  本稿では,空間スペクトル情報の効率的な抽出を実現するために,高スペクトル画像(HSI)のための高速多スケール畳み込みモジュールを提案する。 マスクオートエンコーダと同様に、我々の事前学習法は、エンコーダ内の中央画素の対応するトークンのみをマスクし、残りのトークンをデコーダに入力し、中央画素のスペクトル情報を再構成する。
  論文  参考訳（メタデータ） (2022-03-09T14:42:26Z)
• Less is More: Pay Less Attention in Vision Transformers [61.05787583247392]
  注意の少ないvIsion Transformerは、畳み込み、完全接続層、自己アテンションが、画像パッチシーケンスを処理するためにほぼ同等な数学的表現を持つという事実に基づいている。 提案したLITは、画像分類、オブジェクト検出、インスタンス分割を含む画像認識タスクにおいて有望な性能を達成する。
  論文  参考訳（メタデータ） (2021-05-29T05:26:07Z)
• Learning deep multiresolution representations for pansharpening [4.469255274378329]
  本稿では,異なるスケールでスペクトル特性と空間特性を保持するピラミッド型深層融合フレームワークを提案する。 実験により,提案手法はアートパンシャープニングモデルよりも優れていることが示唆された。
  論文  参考訳（メタデータ） (2021-02-16T19:41:57Z)
• Generative Hierarchical Features from Synthesizing Images [65.66756821069124]
  画像合成の学習は、広範囲のアプリケーションにまたがって一般化可能な顕著な階層的な視覚的特徴をもたらす可能性があることを示す。 生成的階層的特徴(Generative Hierarchical Feature, GH-Feat)と呼ばれるエンコーダが生成する視覚的特徴は、生成的タスクと識別的タスクの両方に強い伝達性を有する。
  論文  参考訳（メタデータ） (2020-07-20T18:04:14Z)
• Hyperspectral Image Super-resolution via Deep Progressive Zero-centric Residual Learning [62.52242684874278]
  空間情報とスペクトル情報の相互モダリティ分布が問題となる。 本稿では,PZRes-Netという,新しいテクスライトウェイトなディープニューラルネットワークベースのフレームワークを提案する。 本フレームワークは,高分解能かつテクテッセロ中心の残像を学習し,シーンの空間的詳細を高頻度で表現する。
  論文  参考訳（メタデータ） (2020-06-18T06:32:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。