論文の概要: SPECIAL: Zero-shot Hyperspectral Image Classification With CLIP

• arxiv url: http://arxiv.org/abs/2501.16222v2
• Date: Tue, 28 Jan 2025 03:15:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-29 13:21:27.025783
• Title: SPECIAL: Zero-shot Hyperspectral Image Classification With CLIP
• Title（参考訳）: SPECIAL:CLIPによるゼロショットハイパースペクトル画像分類
• Authors: Li Pang, Jing Yao, Kaiyu Li, Xiangyong Cao,
• Abstract要約: CLIP(SPECIAL)に基づく新しいゼロショットハイパースペクトル画像分類フレームワークを提案する。 SPECIALフレームワークは,(1)CLIPに基づく擬似ラベル生成と(2)ノイズラベル学習の2段階からなる。 3つのベンチマークデータセットによる実験結果から,SPECIALはゼロショットHSI分類において既存の手法よりも優れていることが示された。
• 参考スコア（独自算出の注目度）: 10.658533866562689
• License:
• Abstract: Hyperspectral image (HSI) classification aims at categorizing each pixel in an HSI into a specific land cover class, which is crucial for applications like remote sensing, environmental monitoring, and agriculture. Although deep learning-based HSI classification methods have achieved significant advancements, existing methods still rely on manually labeled data for training, which is both time-consuming and labor-intensive. To address this limitation, we introduce a novel zero-shot hyperspectral image classification framework based on CLIP (SPECIAL), aiming to eliminate the need for manual annotations. The SPECIAL framework consists of two main stages: (1) CLIP-based pseudo-label generation, and (2) noisy label learning. In the first stage, HSI is spectrally interpolated to produce RGB bands. These bands are subsequently classified using CLIP, resulting in noisy pseudo-labels that are accompanied by confidence scores. To improve the quality of these labels, we propose a scaling strategy that fuses predictions from multiple spatial scales. In the second stage, spectral information and a label refinement technique are incorporated to mitigate label noise and further enhance classification accuracy. Experimental results on three benchmark datasets demonstrate that our SPECIAL outperforms existing methods in zero-shot HSI classification, showing its potential for more practical applications. The code is available at https://github.com/LiPang/SPECIAL.
• Abstract（参考訳）: ハイパースペクトル画像(HSI)分類は、HSI内の各ピクセルを特定の土地被覆クラスに分類することを目的としており、リモートセンシング、環境モニタリング、農業などの用途に欠かせない。 深層学習に基づくHSI分類法は大きな進歩を遂げてきたが、既存の手法は依然としてトレーニングに手動でラベル付けされたデータに依存しており、これは時間と労力のかかるものである。 この制限に対処するため、手動アノテーションの不要化を目的とした、CLIP(SPECIAL)に基づく新しいゼロショットハイパースペクトル画像分類フレームワークを導入する。 SPECIALフレームワークは,(1)CLIPに基づく擬似ラベル生成と(2)ノイズラベル学習の2段階からなる。 第1段階では、HSIはスペクトル補間されてRGBバンドを生成する。 これらのバンドはその後CLIPを使用して分類され、ノイズの多い擬似ラベルとなり、信頼スコアが伴う。 これらのラベルの品質を向上させるために,複数の空間スケールからの予測を融合するスケーリング戦略を提案する。 第2段階では、ラベルノイズを緩和し、さらに分類精度を高めるために、スペクトル情報とラベル改質技術が組み込まれている。 3つのベンチマークデータセット実験の結果、SPECIALはゼロショットHSI分類において既存の手法よりも優れており、より実用的な応用の可能性を示している。 コードはhttps://github.com/LiPang/SPECIAL.comで入手できる。

関連論文リスト

• PEPL: Precision-Enhanced Pseudo-Labeling for Fine-Grained Image Classification in Semi-Supervised Learning [3.801446153948012]
  半教師付き学習フレームワーク内でのきめ細かい画像分類のためのPEPL(Precision-Enhanced Pseudo-Labeling)手法を提案する。 提案手法は,高品質な擬似ラベルを生成することにより,ラベルなしデータの豊富さを活用する。 ベンチマークデータセット上での最先端のパフォーマンスを実現し、既存の半教師付き戦略よりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2024-09-05T02:32:07Z)
• Superpixelwise Low-rank Approximation based Partial Label Learning for Hyperspectral Image Classification [19.535446654147126]
  キャプチャーされたハイパースペクトル画像(HSI)シーンの十分な事前知識は、専門家や自動ラベルシステムに誤ったラベルや曖昧なラベルを提供する可能性がある。 本稿では,新しい超画素単位の低ランク近似(LRA)に基づく部分ラベル学習法,SLAPを提案する。
  論文  参考訳（メタデータ） (2024-05-27T12:26:49Z)
• TagCLIP: A Local-to-Global Framework to Enhance Open-Vocabulary Multi-Label Classification of CLIP Without Training [29.431698321195814]
  Contrastive Language-Image Pre-Training (CLIP) はオープン語彙分類において顕著な能力を示した。 CLIPは、グローバル機能が最も顕著なクラスに支配される傾向があるため、マルチラベルデータセットのパフォーマンスが低い。 画像タグを得るための局所言語フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-20T08:15:40Z)
• Spectral Prompt Tuning:Unveiling Unseen Classes for Zero-Shot Semantic Segmentation [20.880942041889444]
  画像からピクセルへのCLIPの適応性を改善する一段階アプローチであるSPT-SEGを提案する。 具体的には、スペクトルプロンプトチューニング(SPT)を導入し、CLIP視覚エンコーダの浅い層にスペクトルプロンプトを組み込む。 我々は、最先端のアプローチよりもメソッドが優れていることを実証し、すべてのクラスでうまく機能し、特に目に見えないクラスを扱うのに優れています。
  論文  参考訳（メタデータ） (2023-12-20T04:27:13Z)
• Channel-Wise Contrastive Learning for Learning with Noisy Labels [60.46434734808148]
  チャネルワイド・コントラッシブ・ラーニング(CWCL)を導入し,真正なラベル情報とノイズを区別する。 従来のインスタンス単位のコントラスト学習(IWCL)とは異なり、CWCLはよりニュアンスでレジリエントな特徴を真のラベルと一致させる傾向にある。 まずCWCLを用いて、クリーンにラベル付けされたサンプルを識別し、次に、これらのサンプルを段階的に微調整する。
  論文  参考訳（メタデータ） (2023-08-14T06:04:50Z)
• Hyperspectral Image Analysis with Subspace Learning-based One-Class Classification [18.786429304405097]
  ハイパースペクトル画像(HSI)分類は、環境モニタリング、医療画像、土地利用/土地被覆(LULC)分類など、多くの応用において重要な課題である。 本研究では,最近提案した1クラス分類(OCC)における部分空間学習手法について検討する。 このようにして、提案する分類フレームワークでは、個別の次元削減や特徴選択の手順は不要である。 LULC分類問題とリッチスペクトル情報(高次元)の不均衡ラベルを考えると,提案手法はHSIデータに適している。
  論文  参考訳（メタデータ） (2023-04-19T15:17:05Z)
• Ambiguity-Resistant Semi-Supervised Learning for Dense Object Detection [98.66771688028426]
  本研究では,一段階検出器のためのAmbiguity-Resistant Semi-supervised Learning (ARSL)を提案する。 擬似ラベルの分類とローカライズ品質を定量化するために,JCE(Joint-Confidence Estimation)を提案する。 ARSLは、曖昧さを効果的に軽減し、MS COCOおよびPASCALVOC上で最先端のSSOD性能を達成する。
  論文  参考訳（メタデータ） (2023-03-27T07:46:58Z)
• GridCLIP: One-Stage Object Detection by Grid-Level CLIP Representation Learning [55.77244064907146]
  一段階検出器GridCLIPはグリッドレベルの表現を学習し、一段階検出学習の本質的な原理に適応する。 実験により、学習したCLIPベースのグリッドレベル表現は、アンダーサンプリングされた(稀で新しい)カテゴリのパフォーマンスを高めることが示された。
  論文  参考訳（メタデータ） (2023-03-16T12:06:02Z)
• Self Supervised Learning for Few Shot Hyperspectral Image Classification [57.2348804884321]
  HSI分類に自己監督学習(SSL)を活用することを提案する。 最先端のSSLアルゴリズムであるBarlow-Twinsを用いて,ラベルのない画素にエンコーダを事前学習することにより,少数のラベルを持つ正確なモデルが得られることを示す。
  論文  参考訳（メタデータ） (2022-06-24T07:21:53Z)
• Transductive CLIP with Class-Conditional Contrastive Learning [68.51078382124331]
  雑音ラベル付き分類ネットワークをスクラッチから学習するための新しいフレームワークであるTransductive CLIPを提案する。 擬似ラベルへの依存を軽減するために,クラス条件のコントラスト学習機構を提案する。 アンサンブルラベルは、ノイズラベル付きディープニューラルネットワークのトレーニングを安定化するための擬似ラベル更新戦略として採用されている。
  論文  参考訳（メタデータ） (2022-06-13T14:04:57Z)
• SCARF: Self-Supervised Contrastive Learning using Random Feature Corruption [72.35532598131176]
  本稿では,特徴のランダムなサブセットを乱してビューを形成するコントラスト学習手法であるSCARFを提案する。 SCARFは既存の戦略を補完し、オートエンコーダのような代替手段より優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-29T08:08:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。