論文の概要: MultiScale Spectral-Spatial Convolutional Transformer for Hyperspectral Image Classification

• arxiv url: http://arxiv.org/abs/2310.18550v1
• Date: Sat, 28 Oct 2023 00:41:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-31 17:56:04.951681
• Title: MultiScale Spectral-Spatial Convolutional Transformer for Hyperspectral Image Classification
• Title（参考訳）: ハイパースペクトル画像分類のための多スケールスペクトル空間畳み込み変換器
• Authors: Zhiqiang Gong, Xian Zhou, Wen Yao
• Abstract要約: Transformerはハイパースペクトル画像分類のためのCNNの代替アーキテクチャとなっている。 ハイパースペクトル画像分類のためのマルチスケールスペクトル空間畳み込み変換器(MultiscaleFormer)を提案する。
• 参考スコア（独自算出の注目度）: 9.051982753583232
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Due to the powerful ability in capturing the global information, Transformer has become an alternative architecture of CNNs for hyperspectral image classification. However, general Transformer mainly considers the global spectral information while ignores the multiscale spatial information of the hyperspectral image. In this paper, we propose a multiscale spectral-spatial convolutional Transformer (MultiscaleFormer) for hyperspectral image classification. First, the developed method utilizes multiscale spatial patches as tokens to formulate the spatial Transformer and generates multiscale spatial representation of each band in each pixel. Second, the spatial representation of all the bands in a given pixel are utilized as tokens to formulate the spectral Transformer and generate the multiscale spectral-spatial representation of each pixel. Besides, a modified spectral-spatial CAF module is constructed in the MultiFormer to fuse cross-layer spectral and spatial information. Therefore, the proposed MultiFormer can capture the multiscale spectral-spatial information and provide better performance than most of other architectures for hyperspectral image classification. Experiments are conducted over commonly used real-world datasets and the comparison results show the superiority of the proposed method.
• Abstract（参考訳）: グローバルな情報をキャプチャする強力な能力のため、Transformerはハイパースペクトル画像分類のためのCNNの代替アーキテクチャとなっている。 しかし、一般変換器は、高スペクトル画像のマルチスケール空間情報を無視しながら、大域的なスペクトル情報を主に考慮している。 本稿では,超スペクトル画像分類のためのマルチスケールスペクトル空間畳み込みトランス(multiscaleformer)を提案する。 まず,マルチスケール空間パッチを用いて空間変換器を定式化し,各画素における各バンドのマルチスケール空間表現を生成する。 次に、所定の画素内のすべてのバンドの空間表現をトークンとして利用し、スペクトル変換器を定式化し、各画素のマルチスケールスペクトル空間表現を生成する。 また、MultiFormerではスペクトル空間CAFモジュールを改良し、層間スペクトルと空間情報を融合させる。 そこで提案したMultiFormerは,マルチスケールのスペクトル空間情報をキャプチャし,ハイパースペクトル画像分類のための他のほとんどのアーキテクチャよりも優れた性能を提供する。 実世界のデータセットを用いて実験を行い,提案手法の有効性を比較検討した。

関連論文リスト

• Hierarchical Homogeneity-Based Superpixel Segmentation: Application to Hyperspectral Image Analysis [11.612069983959985]
  ハイパースペクトルデータの処理に有効なマルチスケールスーパーピクセル法を提案する。 提案された階層的アプローチは、可変サイズの超画素を導くが、スペクトルの均一性は高い。 評価のために、スペクトルアンミックスおよび分類タスクにおける前処理ステップとして、同質性に基づく階層法を適用した。
  論文  参考訳（メタデータ） (2024-07-22T01:20:32Z)
• HyperSIGMA: Hyperspectral Intelligence Comprehension Foundation Model [88.13261547704444]
  Hyper SIGMAは、HSI解釈のためのビジョントランスフォーマーベースの基礎モデルである。 特別に設計されたスペクトル拡張モジュールを使用して、空間的特徴とスペクトル的特徴を統合する。 スケーラビリティ、堅牢性、クロスモーダル転送能力、実世界の適用性において大きなメリットがある。
  論文  参考訳（メタデータ） (2024-06-17T13:22:58Z)
• TOP-ReID: Multi-spectral Object Re-Identification with Token Permutation [64.65950381870742]
  マルチスペクトルオブジェクトReID, Dubbled TOP-ReIDのための循環トークン置換フレームワークを提案する。 また,巡回多スペクトル特徴アグリゲーションのためのToken Permutation Module (TPM)を提案する。 提案するフレームワークは,ロバストなオブジェクトReIDに対して,より識別性の高いマルチスペクトル特徴を生成できる。
  論文  参考訳（メタデータ） (2023-12-15T08:54:15Z)
• Cross-Scope Spatial-Spectral Information Aggregation for Hyperspectral Image Super-Resolution [47.12985199570964]
  超高分解能超高分解能画像の長距離空間およびスペクトル類似性を調べるために,新しいクロススコープ空間スペクトル変換器(CST)を提案する。 具体的には,長距離空間スペクトル特性を包括的にモデル化するために,空間次元とスペクトル次元のクロスアテンション機構を考案する。 3つの超スペクトルデータセットに対する実験により、提案したCSTは他の最先端手法よりも定量的にも視覚的にも優れていることが示された。
  論文  参考訳（メタデータ） (2023-11-29T03:38:56Z)
• Multiview Transformer: Rethinking Spatial Information in Hyperspectral Image Classification [43.17196501332728]
  ハイパースペクトル画像における各画素のランドカバーカテゴリの同定は、スペクトル情報と空間情報に依存する。 本稿では,シーン固有であるが本質的でない相関関係がHSIカブイドに記録される可能性があることを考察する。 本稿では、マルチビュー主成分分析(MPCA)、スペクトルエンコーダデコーダ(SED)、空間プールトークン化変換(SPTT)からなるHSI分類のためのマルチビュー変換器を提案する。
  論文  参考訳（メタデータ） (2023-10-11T04:25:24Z)
• Multi-Scale U-Shape MLP for Hyperspectral Image Classification [13.85573689689951]
  ハイパースペクトル画像の画素を識別する2つの課題は、局所的および大域的な相関情報と、モデルの豊富なパラメータをそれぞれ表現することである。 設計したMSC(Multi-Scale Channel)ブロックとU字型Multi-Layer Perceptron構造からなるマルチスケールU字型MUMLP(MUMLP)モデルを提案する。 我々のモデルは、広範囲に登録された3つの公開データセット上で、最先端の手法より優れている。
  論文  参考訳（メタデータ） (2023-07-05T08:52:27Z)
• AerialFormer: Multi-resolution Transformer for Aerial Image Segmentation [7.415370401064414]
  AerialFormerは,契約経路におけるトランスフォーマーと,拡張経路における軽量なMD-CNN(Multi-Dilated Conal Neural Networks)を一体化する。 我々のAerialFormerは階層構造として設計されており、Transformerはマルチスケール機能を出力し、MD-CNNはマルチスケールから情報を集約する。 AerialFormerをiSAID、LoveDA、Potsdamの3つの一般的なデータセットでベンチマークしました。
  論文  参考訳（メタデータ） (2023-06-12T03:28:18Z)
• Probabilistic Deep Metric Learning for Hyperspectral Image Classification [91.5747859691553]
  本稿では,ハイパースペクトル画像分類のための確率論的深度学習フレームワークを提案する。 ハイパースペクトルセンサーが捉えた画像に対して、各ピクセルのカテゴリを予測することを目的としている。 我々のフレームワークは、既存のハイパースペクトル画像分類法に容易に適用できる。
  論文  参考訳（メタデータ） (2022-11-15T17:57:12Z)
• HyperTransformer: A Textural and Spectral Feature Fusion Transformer for Pansharpening [60.89777029184023]
  Pansharpeningは、登録された高分解能パノクロマトグラフィー画像(PAN)と低分解能ハイパースペクトル画像(LR-HSI)を融合して、高スペクトル・空間解像度の高分解能HSIを生成することを目的としている。 既存のパンシャルペン法は、HRテクスチャの特徴をPANからLR-HSIに伝達するアテンション機構を無視し、空間的およびスペクトル的歪みをもたらす。 本稿では, LR-HSI と PAN の特徴をそれぞれ変換器のクエリとキーとして定式化する HyperTransformer という, パンシャーピングのための新しいアテンション機構を提案する。
  論文  参考訳（メタデータ） (2022-03-04T18:59:08Z)
• SpectralFormer: Rethinking Hyperspectral Image Classification with Transformers [91.09957836250209]
  ハイパースペクトル(HS)画像は、ほぼ連続したスペクトル情報によって特徴づけられる。 CNNは、HS画像分類において強力な特徴抽出器であることが証明されている。 我々は、HS画像分類のためのulSpectralFormerと呼ばれる新しいバックボーンネットワークを提案する。
  論文  参考訳（メタデータ） (2021-07-07T02:59:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。