論文の概要: HyperSIGMA: Hyperspectral Intelligence Comprehension Foundation Model

• arxiv url: http://arxiv.org/abs/2406.11519v2
• Date: Tue, 01 Apr 2025 15:14:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-02 20:27:04.238257
• Title: HyperSIGMA: Hyperspectral Intelligence Comprehension Foundation Model
• Title（参考訳）: HyperSIGMA: Hyperspectral Intelligence Comprehension Foundation Model
• Authors: Di Wang, Meiqi Hu, Yao Jin, Yuchun Miao, Jiaqi Yang, Yichu Xu, Xiaolei Qin, Jiaqi Ma, Lingyu Sun, Chenxing Li, Chuan Fu, Hongruixuan Chen, Chengxi Han, Naoto Yokoya, Jing Zhang, Minqiang Xu, Lin Liu, Lefei Zhang, Chen Wu, Bo Du, Dacheng Tao, Liangpei Zhang,
• Abstract要約: Hyper SIGMAは、タスクやシーン間でHSI解釈を統合するビジョントランスフォーマーベースの基礎モデルである。 さらに,約450Kのハイパースペクトル画像を含む,事前学習のための大規模ハイパースペクトルデータセットHyperGlobal-450Kを構築した。
• 参考スコア（独自算出の注目度）: 88.13261547704444
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Accurate hyperspectral image (HSI) interpretation is critical for providing valuable insights into various earth observation-related applications such as urban planning, precision agriculture, and environmental monitoring. However, existing HSI processing methods are predominantly task-specific and scene-dependent, which severely limits their ability to transfer knowledge across tasks and scenes, thereby reducing the practicality in real-world applications. To address these challenges, we present HyperSIGMA, a vision transformer-based foundation model that unifies HSI interpretation across tasks and scenes, scalable to over one billion parameters. To overcome the spectral and spatial redundancy inherent in HSIs, we introduce a novel sparse sampling attention (SSA) mechanism, which effectively promotes the learning of diverse contextual features and serves as the basic block of HyperSIGMA. HyperSIGMA integrates spatial and spectral features using a specially designed spectral enhancement module. In addition, we construct a large-scale hyperspectral dataset, HyperGlobal-450K, for pre-training, which contains about 450K hyperspectral images, significantly surpassing existing datasets in scale. Extensive experiments on various high-level and low-level HSI tasks demonstrate HyperSIGMA's versatility and superior representational capability compared to current state-of-the-art methods. Moreover, HyperSIGMA shows significant advantages in scalability, robustness, cross-modal transferring capability, real-world applicability, and computational efficiency. The code and models will be released at https://github.com/WHU-Sigma/HyperSIGMA.
• Abstract（参考訳）: 正確なハイパースペクトル画像(HSI)の解釈は、都市計画、精密農業、環境モニタリングなど、様々な地球観測関連の応用に関する貴重な洞察を提供するために重要である。 しかし、既存のHSI処理手法は主にタスク固有でシーン依存であり、タスクやシーン間で知識を伝達する能力を著しく制限しているため、現実のアプリケーションにおける実用性が低下する。 これらの課題に対処するために,タスクやシーン間でHSI解釈を統一するビジョントランスフォーマーベースの基盤モデルHyperSIGMAを提案する。 HSIに固有のスペクトルと空間的冗長性を克服するために,多様な文脈特徴の学習を効果的に促進し,HyperSIGMAの基本ブロックとして機能する新しいスパースサンプリングアテンション(SSA)機構を導入する。 HyperSIGMAは、特別に設計されたスペクトル拡張モジュールを使用して、空間的特徴とスペクトル的特徴を統合する。 さらに,約450Kのハイパースペクトル画像を含む事前学習のための大規模ハイパースペクトルデータセットHyperGlobal-450Kを構築し,既存のデータセットを大幅に上回っている。 様々なハイレベルかつ低レベルなHSIタスクに対する広範な実験は、HyperSIGMAの汎用性と、現在の最先端手法と比較して優れた表現能力を示している。 さらに、HyperSIGMAはスケーラビリティ、堅牢性、クロスモーダル転送能力、実世界の応用性、計算効率において大きな利点を示す。 コードとモデルはhttps://github.com/WHU-Sigma/HyperSIGMA.comでリリースされる。

関連論文リスト

• Towards Scalable Foundation Model for Multi-modal and Hyperspectral Geospatial Data [14.104497777255137]
  本稿では,3つのイノベーションを取り入れた高効率空間スペクトル変換器について紹介する。 位置マスキングとチャネルマスキングを統合したHyperspectral Masked Autoencoderフレームワークを用いたLESS ViTの事前訓練を行った。 実験により, 提案手法は, 最先端のマルチモーダル地空間基盤モデルと競合する性能を示す。
  論文  参考訳（メタデータ） (2025-03-17T05:42:19Z)
• Hybrid State-Space and GRU-based Graph Tokenization Mamba for Hyperspectral Image Classification [14.250184447492208]
  ハイパースペクトル画像(HSI)分類は, 環境モニタリング, 農業, 都市計画などの領域において重要な役割を担っている。 機械学習や畳み込みニューラルネットワーク(CNN)といった従来の手法は、複雑なスペクトル空間の特徴を効果的に捉えるのに苦労することが多い。 この研究は、スペクトル空間トークン生成、グラフベースのトークン優先順位付け、およびクロスアテンション機構を組み合わせたハイブリッドモデルであるGraphMambaを提案する。
  論文  参考訳（メタデータ） (2025-02-10T13:02:19Z)
• HRVMamba: High-Resolution Visual State Space Model for Dense Prediction [60.80423207808076]
  効率的なハードウェアを意識した設計のステートスペースモデル(SSM)は、コンピュータビジョンタスクにおいて大きな可能性を証明している。 これらのモデルは、誘導バイアスの不足、長距離の忘れ、低解像度の出力表現の3つの主要な課題によって制約されている。 本稿では, 変形可能な畳み込みを利用して, 長距離忘れ問題を緩和する動的ビジュアル状態空間(DVSS)ブロックを提案する。 また,DVSSブロックに基づく高分解能視覚空間モデル(HRVMamba)を導入し,プロセス全体を通して高分解能表現を保存する。
  論文  参考訳（メタデータ） (2024-10-04T06:19:29Z)
• HSIGene: A Foundation Model For Hyperspectral Image Generation [46.745198868466545]
  ハイパースペクトル画像(HSI)は農業や環境モニタリングなど様々な分野で重要な役割を果たしている。 高価な取得コストのため、ハイパースペクトル画像の数は制限され、下流タスクのパフォーマンスが低下する。 遅延拡散に基づく多条件制御をサポートする新しいHSI生成基盤モデルであるHSIGeneを提案する。 実験により,提案モデルでは,デノナイズや超解像といった下流タスクに対して,膨大な量の現実的なHSIを生成することができることが示された。
  論文  参考訳（メタデータ） (2024-09-19T05:17:44Z)
• Unsupervised Hyperspectral and Multispectral Image Blind Fusion Based on Deep Tucker Decomposition Network with Spatial-Spectral Manifold Learning [15.86617273658407]
  タッカー分解と空間スペクトル多様体学習(DTDNML)に基づくハイパースペクトル・マルチスペクトル画像の教師なしブラインド融合法を提案する。 本手法は,様々なリモートセンシングデータセット上でのハイパースペクトルとマルチスペクトル融合の精度と効率を向上させる。
  論文  参考訳（メタデータ） (2024-09-15T08:58:26Z)
• Hyper-YOLO: When Visual Object Detection Meets Hypergraph Computation [74.65906322148997]
  本稿では,画像特徴量間の複雑な高次相関を捉えるためにハイパーグラフ計算を統合する新しいオブジェクト検出手法を提案する。 Hyper-YOLOは、高度なYOLOv8-NとYOLOv9Tを12%のtextval$と9%のAPMoonLabの改善で大幅に上回っている。
  論文  参考訳（メタデータ） (2024-08-09T01:21:15Z)
• Cross-Scope Spatial-Spectral Information Aggregation for Hyperspectral Image Super-Resolution [47.12985199570964]
  超高分解能超高分解能画像の長距離空間およびスペクトル類似性を調べるために,新しいクロススコープ空間スペクトル変換器(CST)を提案する。 具体的には,長距離空間スペクトル特性を包括的にモデル化するために,空間次元とスペクトル次元のクロスアテンション機構を考案する。 3つの超スペクトルデータセットに対する実験により、提案したCSTは他の最先端手法よりも定量的にも視覚的にも優れていることが示された。
  論文  参考訳（メタデータ） (2023-11-29T03:38:56Z)
• ESSAformer: Efficient Transformer for Hyperspectral Image Super-resolution [76.7408734079706]
  単一ハイパースペクトル像超解像(単一HSI-SR)は、低分解能観測から高分解能ハイパースペクトル像を復元することを目的としている。 本稿では,1つのHSI-SRの繰り返し精製構造を持つESSA注目組込みトランスフォーマネットワークであるESSAformerを提案する。
  論文  参考訳（メタデータ） (2023-07-26T07:45:14Z)
• Unsupervised Hyperspectral and Multispectral Images Fusion Based on the Cycle Consistency [21.233354336608205]
  本稿では,CycFusionと呼ばれるサイクル一貫性に基づく教師なしHSIとMSIの融合モデルを提案する。 CycFusion は低空間分解能 HSI (LrHSI) と高空間分解能 MSI (HrMSI) の領域変換を学習する いくつかのデータセットで行った実験により,提案手法は非教師なし核融合法よりも優れていたことが判明した。
  論文  参考訳（メタデータ） (2023-07-07T06:47:15Z)
• Object Detection in Hyperspectral Image via Unified Spectral-Spatial Feature Aggregation [55.9217962930169]
  S2ADetは、高スペクトル画像に固有の豊富なスペクトル情報と空間補完情報を利用する物体検出器である。 S2ADetは既存の最先端メソッドを超え、堅牢で信頼性の高い結果を達成する。
  論文  参考訳（メタデータ） (2023-06-14T09:01:50Z)
• Hyperspectral Image Segmentation based on Graph Processing over Multilayer Networks [51.15952040322895]
  ハイパースペクトル画像(HSI)処理の1つの重要な課題は、スペクトル空間的特徴の抽出である。 M-GSP特徴抽出に基づくHSIセグメンテーションへのいくつかのアプローチを提案する。 HSI処理とスペクトル空間情報抽出におけるM-GSPの強度を実験的に検証した。
  論文  参考訳（メタデータ） (2021-11-29T23:28:18Z)
• Interpretable Hyperspectral AI: When Non-Convex Modeling meets Hyperspectral Remote Sensing [57.52865154829273]
  ハイパースペクトルイメージング、別名画像分光法は、地球科学リモートセンシング(RS)におけるランドマーク技術です。 過去10年間で、主に熟練した専門家によってこれらのハイパースペクトル(HS)製品を分析するための取り組みが行われています。 このため、さまざまなHS RSアプリケーションのためのよりインテリジェントで自動的なアプローチを開発することが急務です。
  論文  参考訳（メタデータ） (2021-03-02T03:32:10Z)
• Cross-Attention in Coupled Unmixing Nets for Unsupervised Hyperspectral Super-Resolution [79.97180849505294]
  本稿では,HSIの空間分解能を高めるために,CUCaNetというクロスアテンション機構を備えた新しい結合型アンミックスネットワークを提案する。 3つの広く使われているHS-MSデータセットに対して、最先端のHSI-SRモデルと比較実験を行った。
  論文  参考訳（メタデータ） (2020-07-10T08:08:20Z)
• Learning Spatial-Spectral Prior for Super-Resolution of Hyperspectral Imagery [79.69449412334188]
  本稿では,最先端の残差学習をベースとした単一グレー/RGB画像の超解像化手法について検討する。 本稿では,空間情報とハイパースペクトルデータのスペクトル間の相関をフル活用するための空間スペクトル先行ネットワーク(SSPN)を提案する。 実験結果から,SSPSR法により高分解能高分解能高分解能画像の詳細が得られた。
  論文  参考訳（メタデータ） (2020-05-18T14:25:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。