論文の概要: DP-SSL: Towards Robust Semi-supervised Learning with A Few Labeled
Samples
- arxiv url: http://arxiv.org/abs/2110.13740v1
- Date: Tue, 26 Oct 2021 14:43:12 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-27 14:52:55.508076
- Title: DP-SSL: Towards Robust Semi-supervised Learning with A Few Labeled
Samples
- Title(参考訳): DP-SSL: ラベル付きサンプルによるロバストな半教師あり学習を目指して
- Authors: Yi Xu, Jiandong Ding, Lu Zhang, Shuigeng Zhou
- Abstract要約: 半教師付き学習(SSL)は、擬似ラベルによるラベルなしデータを活用するための有望な方法を提供する。
ラベル付きデータのサイズが非常に小さい場合、SSLは、おそらく学習済みの擬似ラベルの品質が低いため、貧弱かつ不安定に動作します。
本稿では,未ラベルデータに対する確率ラベルを生成するために,革新的なデータプログラミング方式を採用するDP-SSLを提案する。
- 参考スコア(独自算出の注目度): 32.804647684320216
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The scarcity of labeled data is a critical obstacle to deep learning.
Semi-supervised learning (SSL) provides a promising way to leverage unlabeled
data by pseudo labels. However, when the size of labeled data is very small
(say a few labeled samples per class), SSL performs poorly and unstably,
possibly due to the low quality of learned pseudo labels. In this paper, we
propose a new SSL method called DP-SSL that adopts an innovative data
programming (DP) scheme to generate probabilistic labels for unlabeled data.
Different from existing DP methods that rely on human experts to provide
initial labeling functions (LFs), we develop a multiple-choice learning~(MCL)
based approach to automatically generate LFs from scratch in SSL style. With
the noisy labels produced by the LFs, we design a label model to resolve the
conflict and overlap among the noisy labels, and finally infer probabilistic
labels for unlabeled samples. Extensive experiments on four standard SSL
benchmarks show that DP-SSL can provide reliable labels for unlabeled data and
achieve better classification performance on test sets than existing SSL
methods, especially when only a small number of labeled samples are available.
Concretely, for CIFAR-10 with only 40 labeled samples, DP-SSL achieves 93.82%
annotation accuracy on unlabeled data and 93.46% classification accuracy on
test data, which are higher than the SOTA results.
- Abstract(参考訳): ラベル付きデータの不足は、ディープラーニングにとって重要な障害である。
semi-supervised learning (ssl)は、擬似ラベルによるラベルなしデータを活用する有望な方法を提供する。
しかし、ラベル付きデータのサイズが非常に小さい場合(例えばクラスごとのいくつかのラベル付きサンプル)、sslは貧弱で不安定であり、おそらく学習済みの擬似ラベルの低品質のためである。
本稿では,非ラベルデータに対する確率的ラベルを生成するための革新的なデータプログラミング(dp)方式を採用する,dp-sslと呼ばれる新しいssl手法を提案する。
人手による初期ラベリング機能(LF)を提供する既存のDPメソッドとは違い,SSLスタイルでLFをスクラッチから自動生成するマルチチョイス学習(MCL)ベースのアプローチを開発した。
LFが生成するノイズラベルを用いて,ノイズラベル間の競合を解消し重なり合うラベルモデルを設計し,最終的にラベル付きサンプルに対して確率ラベルを推定する。
4つの標準SSLベンチマークの大規模な実験は、DP-SSLが既存のSSLメソッドよりも信頼性の高いラベルを提供し、テストセットの分類性能が向上していることを示している。
具体的には、40のラベル付きサンプルしか持たないcifar-10では、dp-sslはラベルなしデータでは93.82%、テストデータでは93.46%の分類精度を達成している。
関連論文リスト
- InstanT: Semi-supervised Learning with Instance-dependent Thresholds [75.91684890150283]
本稿では,既存手法と比較して高い自由度を有するインスタンス依存しきい値の研究を提案する。
インスタンスレベルのあいまいさと擬似ラベルのインスタンス依存エラー率を利用して、すべての未ラベルインスタンスに対して新しいインスタンス依存しきい値関数を考案する。
論文 参考訳(メタデータ) (2023-10-29T05:31:43Z) - Semi-Supervised Learning in the Few-Shot Zero-Shot Scenario [14.916971861796384]
Semi-Supervised Learning (SSL)は、ラベル付きデータとラベルなしデータの両方を利用して、モデルのパフォーマンスを向上させるフレームワークである。
既存のSSLメソッドを拡張し、特定のクラスが欠落している状況に対処するための一般的なアプローチを提案する。
実験の結果,最先端のSSL,オープンセットのSSL,オープンワールドのSSLメソッドと比較して,精度が大幅に向上した。
論文 参考訳(メタデータ) (2023-08-27T14:25:07Z) - Pseudo-Labeling Based Practical Semi-Supervised Meta-Training for
Few-Shot Learning [125.98370880855579]
擬似ラベルベースメタラーニング(PLML)という,シンプルで効果的なメタトレーニングフレームワークを提案する。
まず、一般的な半教師付き学習(SSL)を用いて分類器を訓練し、ラベルなしデータの擬似ラベルを得る。
ラベル付きおよび擬似ラベル付きデータから数ショットのタスクを構築し、特徴の平滑化と雑音抑圧を伴う新しい微調整法を設計する。
論文 参考訳(メタデータ) (2022-07-14T10:53:53Z) - Robust Deep Semi-Supervised Learning: A Brief Introduction [63.09703308309176]
半教師付き学習(SSL)は、ラベルが不十分なときにラベル付きデータを活用することにより、学習性能を向上させることを目的としている。
ディープモデルによるSSLは、標準ベンチマークタスクで成功したことが証明されている。
しかし、それらは現実世界のアプリケーションにおける様々な堅牢性に対する脅威に対して依然として脆弱である。
論文 参考訳(メタデータ) (2022-02-12T04:16:41Z) - Pseudo-Labeled Auto-Curriculum Learning for Semi-Supervised Keypoint
Localization [88.74813798138466]
オブジェクトのキーポイントのローカライズは、基本的な視覚的問題である。
キーポイントローカライゼーションネットワークの教師付き学習は、しばしば大量のデータを必要とする。
本稿では,一連の動的しきい値を持つ信頼度の高い擬似ラベルサンプルを自動的に選択する。
論文 参考訳(メタデータ) (2022-01-21T09:51:58Z) - In Defense of Pseudo-Labeling: An Uncertainty-Aware Pseudo-label
Selection Framework for Semi-Supervised Learning [53.1047775185362]
Pseudo-labeling (PL) は一般的な SSL アプローチで、この制約はありませんが、当初の処方では比較的不十分です。
PLは不整合モデルからの誤った高い信頼度予測により性能が低下していると論じる。
そこで本研究では,疑似ラベリング精度を向上させるための不確実性認識型擬似ラベル選択(ups)フレームワークを提案する。
論文 参考訳(メタデータ) (2021-01-15T23:29:57Z) - Matching Distributions via Optimal Transport for Semi-Supervised
Learning [31.533832244923843]
SSL(Semi-Supervised Learning)アプローチは、ラベルのないデータを使用する上で、影響力のあるフレームワークである。
本稿では、離散的経験的確率測度間の類似性の指標として最適輸送(OT)手法を採用する新しい手法を提案する。
提案手法を標準データセット上で,最先端のSSLアルゴリズムを用いて評価し,SSLアルゴリズムの優位性と有効性を示す。
論文 参考訳(メタデータ) (2020-12-04T11:15:14Z) - Multi-Task Curriculum Framework for Open-Set Semi-Supervised Learning [54.85397562961903]
ラベル付きデータに制限がある場合に、ラベルなしデータを利用して強力なモデルをトレーニングする半教師付き学習(SSL)が提案されている。
我々は、Open-set SSLと呼ばれるより複雑な新しいシナリオに対処する。
提案手法は,OOD試料の効果を除去し,最先端の結果を得る。
論文 参考訳(メタデータ) (2020-07-22T10:33:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。