論文の概要: SST: Self-training with Self-adaptive Thresholding for Semi-supervised Learning

• arxiv url: http://arxiv.org/abs/2506.00467v1
• Date: Sat, 31 May 2025 08:34:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:33.090482
• Title: SST: Self-training with Self-adaptive Thresholding for Semi-supervised Learning
• Title（参考訳）: SST:半教師あり学習のための自己適応型閾値を用いた自己学習
• Authors: Shuai Zhao, Heyan Huang, Xinge Li, Xiaokang Chen, Rui Wang,
• Abstract要約: SST(Self-Adaptive Thresholding)は、新しい、効果的で効率的なSSLフレームワークである。 SSTはモデルの学習進捗に基づいてクラス固有のしきい値を調整する。 Semi-SST-ViT-Hugeは競合するImageNet-1K SSLベンチマークで最高の結果を得る。
• 参考スコア（独自算出の注目度）: 42.764994681999774
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural networks have demonstrated exceptional performance in supervised learning, benefiting from abundant high-quality annotated data. However, obtaining such data in real-world scenarios is costly and labor-intensive. Semi-supervised learning (SSL) offers a solution to this problem. Recent studies, such as Semi-ViT and Noisy Student, which employ consistency regularization or pseudo-labeling, have demonstrated significant achievements. However, they still face challenges, particularly in accurately selecting sufficient high-quality pseudo-labels due to their reliance on fixed thresholds. Recent methods such as FlexMatch and FreeMatch have introduced flexible or self-adaptive thresholding techniques, greatly advancing SSL research. Nonetheless, their process of updating thresholds at each iteration is deemed time-consuming, computationally intensive, and potentially unnecessary. To address these issues, we propose Self-training with Self-adaptive Thresholding (SST), a novel, effective, and efficient SSL framework. SST introduces an innovative Self-Adaptive Thresholding (SAT) mechanism that adaptively adjusts class-specific thresholds based on the model's learning progress. SAT ensures the selection of high-quality pseudo-labeled data, mitigating the risks of inaccurate pseudo-labels and confirmation bias. Extensive experiments demonstrate that SST achieves state-of-the-art performance with remarkable efficiency, generalization, and scalability across various architectures and datasets. Semi-SST-ViT-Huge achieves the best results on competitive ImageNet-1K SSL benchmarks, with 80.7% / 84.9% Top-1 accuracy using only 1% / 10% labeled data. Compared to the fully-supervised DeiT-III-ViT-Huge, which achieves 84.8% Top-1 accuracy using 100% labeled data, our method demonstrates superior performance using only 10% labeled data.
• Abstract（参考訳）: ニューラルネットワークは教師あり学習において、豊富な高品質な注釈付きデータの恩恵を受けながら、例外的な性能を示した。 しかし、実際のシナリオでそのようなデータを取得するのはコストがかかり、労力がかかる。 半教師付き学習(SSL)はこの問題に対する解決策を提供する。 近年では, 整合性正規化や擬似ラベルを用いたセミヴィットやノイズ学生などの研究が大きな成果を上げている。 しかし、それらは依然として課題に直面しており、特に一定の閾値に依存しているため、十分な品質の擬似ラベルを正確に選択する。 FlexMatchやFreeMatchといった最近の手法は、フレキシブルまたは自己適応のしきい値処理技術を導入し、SSL研究を大幅に進歩させた。 それでも、各イテレーションで閾値を更新するプロセスは、時間がかかり、計算集約的であり、潜在的に不要であると考えられている。 これらの問題に対処するため、我々は、新しい、効果的で効率的なSSLフレームワークであるセルフアダプティブ・スレッショルド(SST)によるセルフトレーニングを提案する。 SSTは、モデルの学習進捗に基づいてクラス固有の閾値を適応的に調整する、革新的な自己適応的閾値保持(SAT)機構を導入している。 SATは高品質な擬似ラベルデータの選択を保証し、不正確な擬似ラベルのリスクと確認バイアスを軽減する。 大規模な実験により、SSTは様々なアーキテクチャやデータセットにまたがる顕著な効率、一般化、スケーラビリティで最先端のパフォーマンスを達成することが実証された。 Semi-SST-ViT-Hugeは、競合するImageNet-1K SSLベンチマークで最高の結果を得る。 DeiT-III-ViT-Hugeは100%ラベル付きデータを用いて84.8%のTop-1精度を実現している。

関連論文リスト

• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• Incremental Self-training for Semi-supervised Learning [56.57057576885672]
  ISTは単純だが有効であり、既存の自己学習に基づく半教師あり学習手法に適合する。 提案したISTを5つのデータセットと2種類のバックボーンで検証し,認識精度と学習速度を効果的に向上させる。
  論文  参考訳（メタデータ） (2024-04-14T05:02:00Z)
• A Channel-ensemble Approach: Unbiased and Low-variance Pseudo-labels is Critical for Semi-supervised Classification [61.473485511491795]
  半教師付き学習(SSL)はコンピュータビジョンにおける実践的な課題である。 Pseudo-label (PL) メソッド、例えば FixMatch や FreeMatch は SSL で State of The Art (SOTA) のパフォーマンスを取得する。 本稿では,複数の下位PLを理論的に保証された非偏りと低分散のPLに集約する,軽量なチャネルベースアンサンブル法を提案する。
  論文  参考訳（メタデータ） (2024-03-27T09:49:37Z)
• Class-Aware Contrastive Semi-Supervised Learning [51.205844705156046]
  本研究では,擬似ラベル品質を向上し,実環境におけるモデルの堅牢性を高めるため,CCSSL(Class-Aware Contrastive Semi-Supervised Learning)と呼ばれる一般的な手法を提案する。 提案するCCSSLは,標準データセットCIFAR100とSTL10の最先端SSLメソッドに対して,大幅な性能向上を実現している。
  論文  参考訳（メタデータ） (2022-03-04T12:18:23Z)
• A new weakly supervised approach for ALS point cloud semantic segmentation [1.4620086904601473]
  本稿では,ALS点雲のセマンティックセグメンテーションのための,ディープラーニングに基づく弱教師付きフレームワークを提案する。 不完全でスパースなラベルの対象となるラベルのないデータから潜在的情報を利用する。 本手法は, 総合精度が83.0%, 平均F1スコアが70.0%であり, それぞれ6.9%, 12.8%増加した。
  論文  参考訳（メタデータ） (2021-10-04T14:00:23Z)
• In Defense of Pseudo-Labeling: An Uncertainty-Aware Pseudo-label Selection Framework for Semi-Supervised Learning [53.1047775185362]
  Pseudo-labeling (PL) は一般的な SSL アプローチで、この制約はありませんが、当初の処方では比較的不十分です。 PLは不整合モデルからの誤った高い信頼度予測により性能が低下していると論じる。 そこで本研究では,疑似ラベリング精度を向上させるための不確実性認識型擬似ラベル選択(ups)フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-01-15T23:29:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。