論文の概要: HyperSIGMA: Hyperspectral Intelligence Comprehension Foundation Model

• arxiv url: http://arxiv.org/abs/2406.11519v1
• Date: Mon, 17 Jun 2024 13:22:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-18 14:42:04.957611
• Title: HyperSIGMA: Hyperspectral Intelligence Comprehension Foundation Model
• Title（参考訳）: HyperSIGMA: Hyperspectral Intelligence Comprehension Foundation Model
• Authors: Di Wang, Meiqi Hu, Yao Jin, Yuchun Miao, Jiaqi Yang, Yichu Xu, Xiaolei Qin, Jiaqi Ma, Lingyu Sun, Chenxing Li, Chuan Fu, Hongruixuan Chen, Chengxi Han, Naoto Yokoya, Jing Zhang, Minqiang Xu, Lin Liu, Lefei Zhang, Chen Wu, Bo Du, Dacheng Tao, Liangpei Zhang,
• Abstract要約: Hyper SIGMAは、HSI解釈のためのビジョントランスフォーマーベースの基礎モデルである。 特別に設計されたスペクトル拡張モジュールを使用して、空間的特徴とスペクトル的特徴を統合する。 スケーラビリティ、堅牢性、クロスモーダル転送能力、実世界の適用性において大きなメリットがある。
• 参考スコア（独自算出の注目度）: 88.13261547704444
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Foundation models (FMs) are revolutionizing the analysis and understanding of remote sensing (RS) scenes, including aerial RGB, multispectral, and SAR images. However, hyperspectral images (HSIs), which are rich in spectral information, have not seen much application of FMs, with existing methods often restricted to specific tasks and lacking generality. To fill this gap, we introduce HyperSIGMA, a vision transformer-based foundation model for HSI interpretation, scalable to over a billion parameters. To tackle the spectral and spatial redundancy challenges in HSIs, we introduce a novel sparse sampling attention (SSA) mechanism, which effectively promotes the learning of diverse contextual features and serves as the basic block of HyperSIGMA. HyperSIGMA integrates spatial and spectral features using a specially designed spectral enhancement module. In addition, we construct a large-scale hyperspectral dataset, HyperGlobal-450K, for pre-training, which contains about 450K hyperspectral images, significantly surpassing existing datasets in scale. Extensive experiments on various high-level and low-level HSI tasks demonstrate HyperSIGMA's versatility and superior representational capability compared to current state-of-the-art methods. Moreover, HyperSIGMA shows significant advantages in scalability, robustness, cross-modal transferring capability, and real-world applicability.
• Abstract（参考訳）: ファンデーションモデル(FM)は、空中RGB、マルチスペクトル、SAR画像を含むリモートセンシング(RS)のシーンの分析と理解に革命をもたらしている。 しかし、スペクトル情報に富むハイパースペクトル画像(HSI)はFMをあまり利用していない。 このギャップを埋めるために、HSI解釈のためのビジョントランスフォーマーベースの基盤モデルHyperSIGMAを導入し、10億以上のパラメータに拡張する。 HSIにおけるスペクトルと空間的冗長性に対処するために,多様な文脈特徴の学習を効果的に促進し,HyperSIGMAの基本ブロックとして機能する,新しいスパースサンプリングアテンション(SSA)機構を導入する。 HyperSIGMAは、特別に設計されたスペクトル拡張モジュールを使用して、空間的特徴とスペクトル的特徴を統合する。 さらに,約450Kのハイパースペクトル画像を含む事前学習のための大規模ハイパースペクトルデータセットHyperGlobal-450Kを構築し,既存のデータセットを大幅に上回っている。 様々なハイレベルかつ低レベルなHSIタスクに対する広範な実験は、HyperSIGMAの汎用性と、現在の最先端手法と比較して優れた表現能力を示している。 さらに、HyperSIGMAはスケーラビリティ、堅牢性、クロスモーダル転送能力、実世界の適用性において大きな利点を示している。

関連論文リスト

• SSF-Net: Spatial-Spectral Fusion Network with Spectral Angle Awareness for Hyperspectral Object Tracking [21.664141982246598]
  ハイパースペクトルビデオ(HSV)は、空間的、スペクトル的、時間的情報を同時に提供する。 既存の手法は主にバンド再編成に重点を置いており、特徴抽出のためにRGBトラッカーに依存している。 本稿では、超スペクトル(HS)物体追跡において、スペクトル角認識(SST-Net)を用いた空間-スペクトル融合ネットワークを提案する。
  論文  参考訳（メタデータ） (2024-03-09T09:37:13Z)
• Cross-Scope Spatial-Spectral Information Aggregation for Hyperspectral Image Super-Resolution [47.12985199570964]
  超高分解能超高分解能画像の長距離空間およびスペクトル類似性を調べるために,新しいクロススコープ空間スペクトル変換器(CST)を提案する。 具体的には,長距離空間スペクトル特性を包括的にモデル化するために,空間次元とスペクトル次元のクロスアテンション機構を考案する。 3つの超スペクトルデータセットに対する実験により、提案したCSTは他の最先端手法よりも定量的にも視覚的にも優れていることが示された。
  論文  参考訳（メタデータ） (2023-11-29T03:38:56Z)
• ESSAformer: Efficient Transformer for Hyperspectral Image Super-resolution [76.7408734079706]
  単一ハイパースペクトル像超解像(単一HSI-SR)は、低分解能観測から高分解能ハイパースペクトル像を復元することを目的としている。 本稿では,1つのHSI-SRの繰り返し精製構造を持つESSA注目組込みトランスフォーマネットワークであるESSAformerを提案する。
  論文  参考訳（メタデータ） (2023-07-26T07:45:14Z)
• Unsupervised Hyperspectral and Multispectral Images Fusion Based on the Cycle Consistency [21.233354336608205]
  本稿では,CycFusionと呼ばれるサイクル一貫性に基づく教師なしHSIとMSIの融合モデルを提案する。 CycFusion は低空間分解能 HSI (LrHSI) と高空間分解能 MSI (HrMSI) の領域変換を学習する いくつかのデータセットで行った実験により,提案手法は非教師なし核融合法よりも優れていたことが判明した。
  論文  参考訳（メタデータ） (2023-07-07T06:47:15Z)
• Object Detection in Hyperspectral Image via Unified Spectral-Spatial Feature Aggregation [55.9217962930169]
  S2ADetは、高スペクトル画像に固有の豊富なスペクトル情報と空間補完情報を利用する物体検出器である。 S2ADetは既存の最先端メソッドを超え、堅牢で信頼性の高い結果を達成する。
  論文  参考訳（メタデータ） (2023-06-14T09:01:50Z)
• Hyperspectral Image Segmentation based on Graph Processing over Multilayer Networks [51.15952040322895]
  ハイパースペクトル画像(HSI)処理の1つの重要な課題は、スペクトル空間的特徴の抽出である。 M-GSP特徴抽出に基づくHSIセグメンテーションへのいくつかのアプローチを提案する。 HSI処理とスペクトル空間情報抽出におけるM-GSPの強度を実験的に検証した。
  論文  参考訳（メタデータ） (2021-11-29T23:28:18Z)
• Cross-Attention in Coupled Unmixing Nets for Unsupervised Hyperspectral Super-Resolution [79.97180849505294]
  本稿では,HSIの空間分解能を高めるために,CUCaNetというクロスアテンション機構を備えた新しい結合型アンミックスネットワークを提案する。 3つの広く使われているHS-MSデータセットに対して、最先端のHSI-SRモデルと比較実験を行った。
  論文  参考訳（メタデータ） (2020-07-10T08:08:20Z)
• Learning Spatial-Spectral Prior for Super-Resolution of Hyperspectral Imagery [79.69449412334188]
  本稿では,最先端の残差学習をベースとした単一グレー/RGB画像の超解像化手法について検討する。 本稿では,空間情報とハイパースペクトルデータのスペクトル間の相関をフル活用するための空間スペクトル先行ネットワーク(SSPN)を提案する。 実験結果から,SSPSR法により高分解能高分解能高分解能画像の詳細が得られた。
  論文  参考訳（メタデータ） (2020-05-18T14:25:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。