論文の概要: Multiview Transformer: Rethinking Spatial Information in Hyperspectral Image Classification

• arxiv url: http://arxiv.org/abs/2310.07186v1
• Date: Wed, 11 Oct 2023 04:25:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-13 00:23:40.661424
• Title: Multiview Transformer: Rethinking Spatial Information in Hyperspectral Image Classification
• Title（参考訳）: マルチビュートランスフォーマー:ハイパースペクトル画像分類における空間情報の再考
• Authors: Jie Zhang, Yongshan Zhang, Yicong Zhou
• Abstract要約: ハイパースペクトル画像における各画素のランドカバーカテゴリの同定は、スペクトル情報と空間情報に依存する。 本稿では,シーン固有であるが本質的でない相関関係がHSIカブイドに記録される可能性があることを考察する。 本稿では、マルチビュー主成分分析(MPCA)、スペクトルエンコーダデコーダ(SED)、空間プールトークン化変換(SPTT)からなるHSI分類のためのマルチビュー変換器を提案する。
• 参考スコア（独自算出の注目度）: 43.17196501332728
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Identifying the land cover category for each pixel in a hyperspectral image (HSI) relies on spectral and spatial information. An HSI cuboid with a specific patch size is utilized to extract spatial-spectral feature representation for the central pixel. In this article, we investigate that scene-specific but not essential correlations may be recorded in an HSI cuboid. This additional information improves the model performance on existing HSI datasets and makes it hard to properly evaluate the ability of a model. We refer to this problem as the spatial overfitting issue and utilize strict experimental settings to avoid it. We further propose a multiview transformer for HSI classification, which consists of multiview principal component analysis (MPCA), spectral encoder-decoder (SED), and spatial-pooling tokenization transformer (SPTT). MPCA performs dimension reduction on an HSI via constructing spectral multiview observations and applying PCA on each view data to extract low-dimensional view representation. The combination of view representations, named multiview representation, is the dimension reduction output of the MPCA. To aggregate the multiview information, a fully-convolutional SED with a U-shape in spectral dimension is introduced to extract a multiview feature map. SPTT transforms the multiview features into tokens using the spatial-pooling tokenization strategy and learns robust and discriminative spatial-spectral features for land cover identification. Classification is conducted with a linear classifier. Experiments on three HSI datasets with rigid settings demonstrate the superiority of the proposed multiview transformer over the state-of-the-art methods.
• Abstract（参考訳）: ハイパースペクトル画像(HSI)における各画素のランドカバーカテゴリの同定は、スペクトル情報と空間情報に依存する。 特定のパッチサイズを有するhsi立方体を用いて、中央画素の空間スペクトル特徴表現を抽出する。 本稿では,シーン固有であるが本質的でない相関関係がHSIカブイドに記録されることを考察する。 この追加情報は、既存のHSIデータセットのモデルパフォーマンスを改善し、モデルの能力を適切に評価することを難しくする。 本稿では,この問題を空間オーバーフィット問題と呼び,厳格な実験環境を用いて回避する。 さらに、マルチビュー主成分分析(MPCA)、スペクトルエンコーダデコーダ(SED)、空間プールトークン化変換(SPTT)からなるHSI分類のためのマルチビュー変換器を提案する。 MPCAは、スペクトルマルチビュー観測を構築し、各ビューデータにPCAを適用して低次元表示を抽出することにより、HSIの次元削減を行う。 マルチビュー表現と呼ばれるビュー表現の組み合わせは、MPCAの次元縮小出力である。 マルチビュー情報を集約するために、スペクトル次元のU字形の完全畳み込みSEDを導入し、マルチビュー特徴写像を抽出する。 SPTTは、空間プールトークン化戦略を用いて、マルチビュー特徴をトークンに変換し、ランドカバー識別のためのロバストで差別的な空間スペクトル特徴を学習する。 分類は線形分類器で行われる。 厳密な設定を持つ3つのHSIデータセットの実験は、最先端手法よりも提案されたマルチビュー変換器の優位性を示している。

関連論文リスト

• ViewFormer: Exploring Spatiotemporal Modeling for Multi-View 3D Occupancy Perception via View-Guided Transformers [9.271932084757646]
  3Dの占有は、前景と背景を物理的空間で区別することなく、全体のシーンをグリッドマップに表現する。 本稿では,効果的な多視点特徴集約のための学習優先視点アテンション機構を提案する。 既存の高品質データセットの上に構築されたベンチマークであるFlowOcc3Dを紹介します。
  論文  参考訳（メタデータ） (2024-05-07T13:15:07Z)
• TOP-ReID: Multi-spectral Object Re-Identification with Token Permutation [64.65950381870742]
  マルチスペクトルオブジェクトReID, Dubbled TOP-ReIDのための循環トークン置換フレームワークを提案する。 また,巡回多スペクトル特徴アグリゲーションのためのToken Permutation Module (TPM)を提案する。 提案するフレームワークは,ロバストなオブジェクトReIDに対して,より識別性の高いマルチスペクトル特徴を生成できる。
  論文  参考訳（メタデータ） (2023-12-15T08:54:15Z)
• Multi-Spectral Image Stitching via Spatial Graph Reasoning [52.27796682972484]
  空間グラフ推論に基づくマルチスペクトル画像縫合法を提案する。 同一のビュー位置から複数スケールの補完機能をノードに埋め込む。 空間的・チャネル的次元に沿った長距離コヒーレンスを導入することにより、画素関係の相補性とチャネル相互依存性は、整列したマルチビュー特徴の再構築に寄与する。
  論文  参考訳（メタデータ） (2023-07-31T15:04:52Z)
• Multi-Scale U-Shape MLP for Hyperspectral Image Classification [13.85573689689951]
  ハイパースペクトル画像の画素を識別する2つの課題は、局所的および大域的な相関情報と、モデルの豊富なパラメータをそれぞれ表現することである。 設計したMSC(Multi-Scale Channel)ブロックとU字型Multi-Layer Perceptron構造からなるマルチスケールU字型MUMLP(MUMLP)モデルを提案する。 我々のモデルは、広範囲に登録された3つの公開データセット上で、最先端の手法より優れている。
  論文  参考訳（メタデータ） (2023-07-05T08:52:27Z)
• Object Detection in Hyperspectral Image via Unified Spectral-Spatial Feature Aggregation [55.9217962930169]
  S2ADetは、高スペクトル画像に固有の豊富なスペクトル情報と空間補完情報を利用する物体検出器である。 S2ADetは既存の最先端メソッドを超え、堅牢で信頼性の高い結果を達成する。
  論文  参考訳（メタデータ） (2023-06-14T09:01:50Z)
• DCN-T: Dual Context Network with Transformer for Hyperspectral Image Classification [109.09061514799413]
  複雑な撮像条件による空間変動のため,HSI分類は困難である。 本稿では,HSIを高品質な三スペクトル画像に変換する三スペクトル画像生成パイプラインを提案する。 提案手法は,HSI分類における最先端手法よりも優れている。
  論文  参考訳（メタデータ） (2023-04-19T18:32:52Z)
• Diagnose Like a Pathologist: Transformer-Enabled Hierarchical Attention-Guided Multiple Instance Learning for Whole Slide Image Classification [39.41442041007595]
  複数のインスタンス学習とトランスフォーマーは、病理組織学的にWSI(Whole Slide Image)分類でますます人気がある。 本稿では,WSI を完全に活用するための階層型注意誘導型多重インスタンス学習フレームワークを提案する。 このフレームワーク内では、インテグレート・アテンション・トランスが提案され、トランスの性能をさらに向上する。
  論文  参考訳（メタデータ） (2023-01-19T15:38:43Z)
• Sketched Multi-view Subspace Learning for Hyperspectral Anomalous Change Detection [12.719327447589345]
  異常変化検出のためのスケッチ付きマルチビューサブスペース学習モデルを提案する。 提案モデルでは,画像ペアからの主要な情報を保存し,計算複雑性を向上させる。 実験は、ベンチマークハイパースペクトルリモートセンシングデータセットと自然なハイパースペクトルデータセットで実施される。
  論文  参考訳（メタデータ） (2022-10-09T14:08:17Z)
• Mask-guided Spectral-wise Transformer for Efficient Hyperspectral Image Reconstruction [127.20208645280438]
  ハイパースペクトル画像(HSI)再構成は、2次元計測から3次元空間スペクトル信号を復元することを目的としている。 スペクトル間相互作用のモデル化は、HSI再構成に有用である。 Mask-guided Spectral-wise Transformer (MST) は,HSI再構成のための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-11-15T16:59:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。