論文の概要: Spectral Gaps and Spatial Priors: Studying Hyperspectral Downstream Adaptation Using TerraMind
- arxiv url: http://arxiv.org/abs/2603.06690v1
- Date: Wed, 04 Mar 2026 11:00:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-10 15:13:12.802026
- Title: Spectral Gaps and Spatial Priors: Studying Hyperspectral Downstream Adaptation Using TerraMind
- Title(参考訳): スペクトルギャップと空間優先:TerraMindを用いたハイパースペクトル下流適応の検討
- Authors: Julia Anna Leonardi, Johannes Jakubik, Paolo Fraccaro, Maria Antonia Brovelli,
- Abstract要約: Geospatial Foundation Models (GFMs) は一般的にハイパースペクトルイメージング(HSI)のネイティブサポートを欠いている
本研究では,マルチモーダル GFM である TerraMind の,HSI 固有の事前学習を伴わずに,HSI 下流タスクへの適応性について検討する。
- 参考スコア(独自算出の注目度): 4.096057748582858
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Geospatial Foundation Models (GFMs) typically lack native support for Hyperspectral Imaging (HSI) due to the complexity and sheer size of high-dimensional spectral data. This study investigates the adaptability of TerraMind, a multimodal GFM, to address HSI downstream tasks \emph{without} HSI-specific pretraining. Therefore, we implement and compare two channel adaptation strategies: Naive Band Selection and physics-aware Spectral Response Function (SRF) grouping. Overall, our results indicate a general superiority of deep learning models with native support of HSI data. Our experiments also demonstrate the ability of TerraMind to adapt to HSI downstream tasks through band selection with moderate performance decline. Therefore, the findings of this research establish a critical baseline for HSI integration, motivating the need for native spectral tokenization in future multimodal model architectures.
- Abstract(参考訳): Geospatial Foundation Models (GFMs) は通常、高次元のスペクトルデータの複雑さと重大さのために、ハイパースペクトルイメージング(HSI)のネイティブサポートを欠いている。
本研究では,マルチモーダル GFM であるTerraMind のHSI 下流タスク \emph{without} HSI 固有の事前学習への適応性について検討した。
そこで我々は,Nive Band SelectionとSRFグループ化の2つのチャネル適応戦略を実装し,比較した。
以上の結果から,HSIデータのネイティブサポートによるディープラーニングモデルの総合的優位性が示唆された。
また,TerraMindの帯域選択によるHSIダウンストリームタスクへの適応性を示す実験を行った。
そこで本研究では,HSI統合のための重要なベースラインを確立し,将来のマルチモーダルモデルアーキテクチャにおいて,ネイティブなスペクトルトークン化の必要性を動機とした。
関連論文リスト
- Unleashing Correlation and Continuity for Hyperspectral Reconstruction from RGB Images [64.80875911446937]
RGB画像からのHSI再構成のための相関連続性ネットワーク(CCNet)を提案する。
局所スペクトルの相関について,GrSCM(Group-wise Spectral correlation Modeling)モジュールを紹介する。
グローバルスペクトルの連続性のために、我々はNeSCMモジュールを設計する。
論文 参考訳(メタデータ) (2025-01-02T15:14:40Z) - Hyperspectral Imaging-Based Perception in Autonomous Driving Scenarios: Benchmarking Baseline Semantic Segmentation Models [3.6096086024478775]
ハイパースペクトルイメージング(HSI)は、リモートセンシング、農業、医療における従来のRGBイメージングよりも優れていることで知られている。
HyKo、HSI-Drive、HSI-Road、Hyperspectral CityといったいくつかのHSIデータセットが利用可能になっている。
しかし,これらのデータセットを用いたセマンティックセグメンテーションモデル(SSM)の包括的評価は不十分である。
本研究では、HSIに基づくADAS知覚の今後の評価のために、利用可能な注釈付きデータセットのベースラインSSMベンチマークを確立する。
論文 参考訳(メタデータ) (2024-10-29T14:54:13Z) - HSIGene: A Foundation Model For Hyperspectral Image Generation [46.745198868466545]
ハイパースペクトル画像(HSI)は農業や環境モニタリングなど様々な分野で重要な役割を果たしている。
高価な取得コストのため、ハイパースペクトル画像の数は制限され、下流タスクのパフォーマンスが低下する。
遅延拡散に基づく多条件制御をサポートする新しいHSI生成基盤モデルであるHSIGeneを提案する。
実験により,提案モデルでは,デノナイズや超解像といった下流タスクに対して,膨大な量の現実的なHSIを生成することができることが示された。
論文 参考訳(メタデータ) (2024-09-19T05:17:44Z) - HyperSIGMA: Hyperspectral Intelligence Comprehension Foundation Model [88.13261547704444]
Hyper SIGMAは、タスクやシーン間でHSI解釈を統合するビジョントランスフォーマーベースの基礎モデルである。
さらに,約450Kのハイパースペクトル画像を含む,事前学習のための大規模ハイパースペクトルデータセットHyperGlobal-450Kを構築した。
論文 参考訳(メタデータ) (2024-06-17T13:22:58Z) - Hyperspectral Benchmark: Bridging the Gap between HSI Applications
through Comprehensive Dataset and Pretraining [11.935879491267634]
ハイパースペクトルイメージング (HSI) は、様々な応用の非破壊空間分光技術として機能する。
繰り返し発生する課題は、ターゲットデータセットの限られたサイズであり、徹底的なアーキテクチャ検索を妨げる。
本研究は、3つの顕著な異なるHSIアプリケーションを含む革新的なベンチマークデータセットを紹介する。
論文 参考訳(メタデータ) (2023-09-20T08:08:34Z) - Hyperspectral Image Segmentation based on Graph Processing over
Multilayer Networks [51.15952040322895]
ハイパースペクトル画像(HSI)処理の1つの重要な課題は、スペクトル空間的特徴の抽出である。
M-GSP特徴抽出に基づくHSIセグメンテーションへのいくつかのアプローチを提案する。
HSI処理とスペクトル空間情報抽出におけるM-GSPの強度を実験的に検証した。
論文 参考訳(メタデータ) (2021-11-29T23:28:18Z) - A Spectral-Spatial-Dependent Global Learning Framework for Insufficient
and Imbalanced Hyperspectral Image Classification [16.93904035334754]
グローバル畳み込み長短期記憶(GCL)とグローバル共同注意機構(GJAM)に基づくスペクトル空間依存型グローバルラーニング(SSDGL)フレームワーク
SSDGLは、不十分で不均衡なサンプル問題において強力な性能を有し、他の最先端の手法よりも優れている。
論文 参考訳(メタデータ) (2021-05-29T15:39:03Z) - Cross-Attention in Coupled Unmixing Nets for Unsupervised Hyperspectral
Super-Resolution [79.97180849505294]
本稿では,HSIの空間分解能を高めるために,CUCaNetというクロスアテンション機構を備えた新しい結合型アンミックスネットワークを提案する。
3つの広く使われているHS-MSデータセットに対して、最先端のHSI-SRモデルと比較実験を行った。
論文 参考訳(メタデータ) (2020-07-10T08:08:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。