論文の概要: DP-SSL: Towards Robust Semi-supervised Learning with A Few Labeled Samples

• arxiv url: http://arxiv.org/abs/2110.13740v1
• Date: Tue, 26 Oct 2021 14:43:12 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-27 14:52:55.508076
• Title: DP-SSL: Towards Robust Semi-supervised Learning with A Few Labeled Samples
• Title（参考訳）: DP-SSL: ラベル付きサンプルによるロバストな半教師あり学習を目指して
• Authors: Yi Xu, Jiandong Ding, Lu Zhang, Shuigeng Zhou
• Abstract要約: 半教師付き学習(SSL)は、擬似ラベルによるラベルなしデータを活用するための有望な方法を提供する。 ラベル付きデータのサイズが非常に小さい場合、SSLは、おそらく学習済みの擬似ラベルの品質が低いため、貧弱かつ不安定に動作します。 本稿では,未ラベルデータに対する確率ラベルを生成するために,革新的なデータプログラミング方式を採用するDP-SSLを提案する。
• 参考スコア（独自算出の注目度）: 32.804647684320216
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The scarcity of labeled data is a critical obstacle to deep learning. Semi-supervised learning (SSL) provides a promising way to leverage unlabeled data by pseudo labels. However, when the size of labeled data is very small (say a few labeled samples per class), SSL performs poorly and unstably, possibly due to the low quality of learned pseudo labels. In this paper, we propose a new SSL method called DP-SSL that adopts an innovative data programming (DP) scheme to generate probabilistic labels for unlabeled data. Different from existing DP methods that rely on human experts to provide initial labeling functions (LFs), we develop a multiple-choice learning~(MCL) based approach to automatically generate LFs from scratch in SSL style. With the noisy labels produced by the LFs, we design a label model to resolve the conflict and overlap among the noisy labels, and finally infer probabilistic labels for unlabeled samples. Extensive experiments on four standard SSL benchmarks show that DP-SSL can provide reliable labels for unlabeled data and achieve better classification performance on test sets than existing SSL methods, especially when only a small number of labeled samples are available. Concretely, for CIFAR-10 with only 40 labeled samples, DP-SSL achieves 93.82% annotation accuracy on unlabeled data and 93.46% classification accuracy on test data, which are higher than the SOTA results.
• Abstract（参考訳）: ラベル付きデータの不足は、ディープラーニングにとって重要な障害である。 semi-supervised learning (ssl)は、擬似ラベルによるラベルなしデータを活用する有望な方法を提供する。 しかし、ラベル付きデータのサイズが非常に小さい場合(例えばクラスごとのいくつかのラベル付きサンプル)、sslは貧弱で不安定であり、おそらく学習済みの擬似ラベルの低品質のためである。 本稿では,非ラベルデータに対する確率的ラベルを生成するための革新的なデータプログラミング(dp)方式を採用する,dp-sslと呼ばれる新しいssl手法を提案する。 人手による初期ラベリング機能(LF)を提供する既存のDPメソッドとは違い,SSLスタイルでLFをスクラッチから自動生成するマルチチョイス学習(MCL)ベースのアプローチを開発した。 LFが生成するノイズラベルを用いて,ノイズラベル間の競合を解消し重なり合うラベルモデルを設計し,最終的にラベル付きサンプルに対して確率ラベルを推定する。 4つの標準SSLベンチマークの大規模な実験は、DP-SSLが既存のSSLメソッドよりも信頼性の高いラベルを提供し、テストセットの分類性能が向上していることを示している。 具体的には、40のラベル付きサンプルしか持たないcifar-10では、dp-sslはラベルなしデータでは93.82%、テストデータでは93.46%の分類精度を達成している。

関連論文リスト

• Semi-Supervised Sparse Gaussian Classification: Provable Benefits of Unlabeled Data [6.812609988733991]
  高次元ガウス分類のためのSSLについて検討する。 正確な特徴選択のための情報理論の下限を解析する。 理論的解析を補完するシミュレーションを提案する。
  論文  参考訳（メタデータ） (2024-09-05T08:21:05Z)
• Learning Label Refinement and Threshold Adjustment for Imbalanced Semi-Supervised Learning [6.904448748214652]
  半教師付き学習アルゴリズムは、不均衡なトレーニングデータに晒された場合、うまく機能しない。 Validation Data(SEVAL)に基づく擬似ラベル最適化によるセミ教師あり学習について紹介する。 SEVALは、擬似ラベルの精度を改善して特定のタスクに適応し、クラスごとに擬似ラベルの正確性を保証する。
  論文  参考訳（メタデータ） (2024-07-07T13:46:22Z)
• Generalized Semi-Supervised Learning via Self-Supervised Feature Adaptation [87.17768598044427]
  従来の半教師付き学習は、ラベル付きデータとラベルなしデータの特徴分布が一貫したものであると仮定する。 本稿では,ラベル付きおよびラベルなしデータの分散によるSSL性能向上のための汎用フレームワークであるセルフ・スーパービジョン・フィーチャー・アダプテーション(SSFA)を提案する。 提案するSSFAは擬似ラベルベースのSSL学習者に適用可能であり,ラベル付き,ラベルなし,さらには目に見えない分布における性能を著しく向上させる。
  論文  参考訳（メタデータ） (2024-05-31T03:13:45Z)
• Prompt-based Pseudo-labeling Strategy for Sample-Efficient Semi-Supervised Extractive Summarization [12.582774521907227]
  半教師付き学習(SSL)は、ラベル付きデータが不足し、ラベルなしデータが豊富であるシナリオで広く使われているテクニックである。 標準SSLメソッドは、まず分類モデルをトレーニングし、次に分類器の信頼性値を使用して擬似ラベルを選択するために教師-学生パラダイムに従う。 より正確な擬似ラベルでラベルなしのサンプルを抽出するLLMを用いたプロンプトベースの擬似ラベル方式を提案する。
  論文  参考訳（メタデータ） (2023-11-16T04:29:41Z)
• Pseudo-Labeling Based Practical Semi-Supervised Meta-Training for Few-Shot Learning [93.63638405586354]
  擬似ラベルベースメタラーニング(PLML)という,シンプルで効果的なメタトレーニングフレームワークを提案する。 まず、一般的な半教師付き学習(SSL)を用いて分類器を訓練し、ラベルなしデータの擬似ラベルを得る。 ラベル付きおよび擬似ラベル付きデータから数ショットのタスクを構築し、特徴の平滑化と雑音抑圧を伴う新しい微調整法を設計する。
  論文  参考訳（メタデータ） (2022-07-14T10:53:53Z)
• Robust Deep Semi-Supervised Learning: A Brief Introduction [63.09703308309176]
  半教師付き学習(SSL)は、ラベルが不十分なときにラベル付きデータを活用することにより、学習性能を向上させることを目的としている。 ディープモデルによるSSLは、標準ベンチマークタスクで成功したことが証明されている。 しかし、それらは現実世界のアプリケーションにおける様々な堅牢性に対する脅威に対して依然として脆弱である。
  論文  参考訳（メタデータ） (2022-02-12T04:16:41Z)
• Pseudo-Labeled Auto-Curriculum Learning for Semi-Supervised Keypoint Localization [88.74813798138466]
  オブジェクトのキーポイントのローカライズは、基本的な視覚的問題である。 キーポイントローカライゼーションネットワークの教師付き学習は、しばしば大量のデータを必要とする。 本稿では,一連の動的しきい値を持つ信頼度の高い擬似ラベルサンプルを自動的に選択する。
  論文  参考訳（メタデータ） (2022-01-21T09:51:58Z)
• In Defense of Pseudo-Labeling: An Uncertainty-Aware Pseudo-label Selection Framework for Semi-Supervised Learning [53.1047775185362]
  Pseudo-labeling (PL) は一般的な SSL アプローチで、この制約はありませんが、当初の処方では比較的不十分です。 PLは不整合モデルからの誤った高い信頼度予測により性能が低下していると論じる。 そこで本研究では,疑似ラベリング精度を向上させるための不確実性認識型擬似ラベル選択(ups)フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-01-15T23:29:57Z)
• Multi-Task Curriculum Framework for Open-Set Semi-Supervised Learning [54.85397562961903]
  ラベル付きデータに制限がある場合に、ラベルなしデータを利用して強力なモデルをトレーニングする半教師付き学習(SSL)が提案されている。 我々は、Open-set SSLと呼ばれるより複雑な新しいシナリオに対処する。 提案手法は,OOD試料の効果を除去し,最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-07-22T10:33:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。