論文の概要: Label Semantics for Robust Hyperspectral Image Classification
- arxiv url: http://arxiv.org/abs/2510.07556v1
- Date: Wed, 08 Oct 2025 21:13:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-10 17:54:14.739259
- Title: Label Semantics for Robust Hyperspectral Image Classification
- Title(参考訳): ロバストハイパースペクトル画像分類のためのラベルセマンティクス
- Authors: Rafin Hassan, Zarin Tasnim Roshni, Rafiqul Bari, Alimul Islam, Nabeel Mohammed, Moshiur Farazi, Shafin Rahman,
- Abstract要約: ハイパースペクトルイメージング(HSI)分類は、農業、環境モニタリング、医学、材料科学などの様々な分野において重要なツールである。
高品質なトレーニングサンプルの不足とスペクトルデータの高次元性のため、HSI分類モデルは過度に適合する傾向にあり、精度と計算複雑性のバランスをとることの難しさに直面することが多い。
本研究では,HSI分類モデルのトレーニングを補完するために,文脈的,クラス固有のテキスト記述を用いた汎用セマンティックスペクトル・空間融合ネットワーク(S3FN)を提案する。
- 参考スコア(独自算出の注目度): 6.578456055730258
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Hyperspectral imaging (HSI) classification is a critical tool with widespread applications across diverse fields such as agriculture, environmental monitoring, medicine, and materials science. Due to the limited availability of high-quality training samples and the high dimensionality of spectral data, HSI classification models are prone to overfitting and often face challenges in balancing accuracy and computational complexity. Furthermore, most of HSI classification models are monomodal, where it solely relies on spectral-spatial data to learn decision boundaries in the high dimensional embedding space. To address this, we propose a general-purpose Semantic Spectral-Spatial Fusion Network (S3FN) that uses contextual, class specific textual descriptions to complement the training of an HSI classification model. Specifically, S3FN leverages LLMs to generate comprehensive textual descriptions for each class label that captures their unique characteristics and spectral behaviors. These descriptions are then embedded into a vector space using a pre-trained text encoder such as BERT or RoBERTa to extract meaningful label semantics which in turn leads to a better feature-label alignment for improved classification performance. To demonstrate the effectiveness of our approach, we evaluate our model on three diverse HSI benchmark datasets - Hyperspectral Wood, HyperspectralBlueberries, and DeepHS-Fruit and report significant performance boost. Our results highlight the synergy between textual semantics and spectral-spatial data, paving the way for further advancements in semantically augmented HSI classification models. Codes are be available in: https://github.com/milab-nsu/S3FN
- Abstract(参考訳): ハイパースペクトルイメージング(HSI)分類は、農業、環境モニタリング、医学、材料科学など様々な分野に広く応用されている重要なツールである。
高品質なトレーニングサンプルの不足とスペクトルデータの高次元性のため、HSI分類モデルは過度に適合する傾向にあり、精度と計算複雑性のバランスをとることの難しさに直面することが多い。
さらに、HSI分類モデルのほとんどはモノモーダルであり、高次元埋め込み空間における決定境界を学習するためにスペクトル空間データのみに依存する。
そこで本研究では,HSI分類モデルのトレーニングを補完するために,文脈的,クラス固有のテキスト記述を用いた汎用セマンティックスペクトル・空間融合ネットワーク(S3FN)を提案する。
具体的には、S3FN は LLM を利用して、各クラスラベルに固有の特徴とスペクトルの振る舞いをキャプチャする包括的なテキスト記述を生成する。
これらの記述は、BERTやRoBERTaのような事前訓練されたテキストエンコーダを使用してベクトル空間に埋め込まれ、意味のあるラベルの意味を抽出し、その結果、より良い特徴ラベルアライメントによって分類性能が向上する。
提案手法の有効性を示すため,Hyperspectral Wood,HyperspectralBlueberries,DeepHS-Fruitの3種類のHSIベンチマークデータセットを用いて,本モデルの評価を行った。
本研究は,テキスト意味学とスペクトル空間データとの相乗効果を強調し,意味的に拡張されたHSI分類モデルにおけるさらなる発展の道を開くものである。
https://github.com/milab-nsu/S3FN
関連論文リスト
- Structural-Spectral Graph Convolution with Evidential Edge Learning for Hyperspectral Image Clustering [73.01141916544103]
ハイパースペクトル画像(HSI)クラスタリングは、アノテーションなしで同様のピクセルを同じクラスに割り当てる。
既存のグラフニューラルネットワーク(GNN)は、入力されたHSIのスペクトル情報を十分に活用できない。
グラフ構造化HSIスーパーピクセルに適した構造スペクトルグラフ畳み込み演算子(SSGCO)を提案する。
論文 参考訳(メタデータ) (2025-06-11T16:41:34Z) - SPECIAL: Zero-shot Hyperspectral Image Classification With CLIP [10.658533866562689]
CLIP(SPECIAL)に基づく新しいゼロショットハイパースペクトル画像分類フレームワークを提案する。
SPECIALフレームワークは,(1)CLIPに基づく擬似ラベル生成と(2)ノイズラベル学習の2段階からなる。
3つのベンチマークデータセットによる実験結果から,SPECIALはゼロショットHSI分類において既存の手法よりも優れていることが示された。
論文 参考訳(メタデータ) (2025-01-27T17:13:03Z) - HyperSIGMA: Hyperspectral Intelligence Comprehension Foundation Model [88.13261547704444]
Hyper SIGMAは、タスクやシーン間でHSI解釈を統合するビジョントランスフォーマーベースの基礎モデルである。
さらに,約450Kのハイパースペクトル画像を含む,事前学習のための大規模ハイパースペクトルデータセットHyperGlobal-450Kを構築した。
論文 参考訳(メタデータ) (2024-06-17T13:22:58Z) - 3D-Convolution Guided Spectral-Spatial Transformer for Hyperspectral Image Classification [12.729885732069926]
視覚変換器(ViT)は畳み込みニューラルネットワーク(CNN)よりも有望な分類性能を示した
ViTはシーケンシャルなデータを出力するが、CNNのようなスペクトル空間情報を抽出することはできない。
HSI分類のための3次元畳み込み誘導スペクトル空間変換器(3D-ConvSST)を提案する。
論文 参考訳(メタデータ) (2024-04-20T03:39:54Z) - Superpixel Graph Contrastive Clustering with Semantic-Invariant Augmentations for Hyperspectral Images [73.01141916544103]
ハイパースペクトル画像(HSI)クラスタリングは重要な課題だが難しい課題である。
まず3次元と2次元のハイブリッド畳み込みニューラルネットワークを用いてHSIの高次空間およびスペクトルの特徴を抽出する。
次に,超画素グラフの対比クラスタリングモデルを設計し,識別的超画素表現を学習する。
論文 参考訳(メタデータ) (2024-03-04T07:40:55Z) - DiffSpectralNet : Unveiling the Potential of Diffusion Models for
Hyperspectral Image Classification [6.521187080027966]
我々は拡散と変圧器技術を組み合わせたDiffSpectralNetと呼ばれる新しいネットワークを提案する。
まず,拡散モデルに基づく教師なし学習フレームワークを用いて,高レベル・低レベルのスペクトル空間的特徴を抽出する。
この拡散法はスペクトル空間の特徴を多様かつ有意義に抽出し,HSI分類の改善につながる。
論文 参考訳(メタデータ) (2023-10-29T15:26:37Z) - Hyperspectral Image Analysis with Subspace Learning-based One-Class
Classification [18.786429304405097]
ハイパースペクトル画像(HSI)分類は、環境モニタリング、医療画像、土地利用/土地被覆(LULC)分類など、多くの応用において重要な課題である。
本研究では,最近提案した1クラス分類(OCC)における部分空間学習手法について検討する。
このようにして、提案する分類フレームワークでは、個別の次元削減や特徴選択の手順は不要である。
LULC分類問題とリッチスペクトル情報(高次元)の不均衡ラベルを考えると,提案手法はHSIデータに適している。
論文 参考訳(メタデータ) (2023-04-19T15:17:05Z) - GSMFlow: Generation Shifts Mitigating Flow for Generalized Zero-Shot
Learning [55.79997930181418]
Generalized Zero-Shot Learningは、目に見えないクラスから見えないクラスに意味的な知識を移すことで、目に見えないクラスと見えないクラスの両方から画像を認識することを目的としている。
生成モデルの利点を生かして、見学したクラスから学んだ知識に基づいて、現実的な見知らぬサンプルを幻覚させることは、有望な解決策である。
本研究では,複数の条件付きアフィン結合層からなるフローベース生成フレームワークを提案する。
論文 参考訳(メタデータ) (2022-07-05T04:04:37Z) - Adversarial Feature Hallucination Networks for Few-Shot Learning [84.31660118264514]
Adversarial Feature Hallucination Networks (AFHN) は条件付き Wasserstein Generative Adversarial Network (cWGAN) に基づいている。
合成された特徴の識別性と多様性を促進するために、2つの新規レギュレータがAFHNに組み込まれている。
論文 参考訳(メタデータ) (2020-03-30T02:43:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。