論文の概要: Pruning the Unlabeled Data to Improve Semi-Supervised Learning
- arxiv url: http://arxiv.org/abs/2308.14058v1
- Date: Sun, 27 Aug 2023 09:45:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-29 17:17:06.000913
- Title: Pruning the Unlabeled Data to Improve Semi-Supervised Learning
- Title(参考訳): 半教師付き学習を改善するためのラベルなしデータの抽出
- Authors: Guy Hacohen, Daphna Weinshall
- Abstract要約: PruneSSLは、オリジナルのラベルなしデータセットからサンプルを選択的に削除し、分離性を高める技術である。
PruneSSLは学習者の利用可能なトレーニングデータの量を減らすが、様々な競合するSSLアルゴリズムの性能を大幅に向上させる。
- 参考スコア(独自算出の注目度): 17.62242617965356
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In the domain of semi-supervised learning (SSL), the conventional approach
involves training a learner with a limited amount of labeled data alongside a
substantial volume of unlabeled data, both drawn from the same underlying
distribution. However, for deep learning models, this standard practice may not
yield optimal results. In this research, we propose an alternative perspective,
suggesting that distributions that are more readily separable could offer
superior benefits to the learner as compared to the original distribution. To
achieve this, we present PruneSSL, a practical technique for selectively
removing examples from the original unlabeled dataset to enhance its
separability. We present an empirical study, showing that although PruneSSL
reduces the quantity of available training data for the learner, it
significantly improves the performance of various competitive SSL algorithms,
thereby achieving state-of-the-art results across several image classification
tasks.
- Abstract(参考訳): 半教師付き学習(SSL)の分野では、従来の手法では、同じ基礎となる分布から引き出された大量のラベル付きデータとともに、限られた量のラベル付きデータで学習者を訓練する。
しかし、ディープラーニングモデルでは、この標準プラクティスは最適な結果をもたらすことができない。
本研究では,より容易に分離できる分布が,学習者にとって本来の分布よりも優れた利益をもたらすことを示唆する別の視点を提案する。
これを実現するために,従来の未ラベルデータセットからサンプルを選択的に削除し,分離性を高める実践的手法であるPruneSSLを提案する。
本稿では,prunesslが学習者の利用可能なトレーニングデータ量を削減するが,様々な競合sslアルゴリズムの性能を大幅に向上させ,複数の画像分類タスクにおいて最先端の結果が得られることを示す。
関連論文リスト
- Learning with Noisy Labels Using Collaborative Sample Selection and
Contrastive Semi-Supervised Learning [76.00798972439004]
Collaborative Sample Selection (CSS)は、特定されたクリーンセットからノイズの多いサンプルを削除する。
半教師付き学習において、対照的な損失を伴う協調学習機構を導入する。
論文 参考訳(メタデータ) (2023-10-24T05:37:20Z) - Progressive Feature Adjustment for Semi-supervised Learning from
Pretrained Models [39.42802115580677]
半教師付き学習(SSL)はラベル付きデータとラベルなしデータの両方を利用して予測モデルを構築することができる。
近年の文献では、事前訓練されたモデルで最先端のSSLを適用しても、トレーニングデータの潜在能力を最大限に発揮できないことが示唆されている。
本稿では,ラベルの誤りに敏感でない特徴抽出器を更新するために,非ラベルデータから擬似ラベルを使用することを提案する。
論文 参考訳(メタデータ) (2023-09-09T01:57:14Z) - SoftMatch: Addressing the Quantity-Quality Trade-off in Semi-supervised
Learning [101.86916775218403]
本稿では, サンプル重み付けを統一した定式化により, 一般的な擬似ラベル法を再検討する。
トレーニング中の擬似ラベルの量と質を両立させることでトレードオフを克服するSoftMatchを提案する。
実験では、画像、テキスト、不均衡な分類など、さまざまなベンチマークで大幅に改善されている。
論文 参考訳(メタデータ) (2023-01-26T03:53:25Z) - MaxMatch: Semi-Supervised Learning with Worst-Case Consistency [149.03760479533855]
半教師付き学習(SSL)のための最悪ケース整合正則化手法を提案する。
本稿では,ラベル付きトレーニングデータとラベル付きトレーニングデータとを別々に比較した経験的損失項からなるSSLの一般化について述べる。
この境界によって動機づけられたSSLの目的は、元のラベルのないサンプルと、その複数の拡張版との最大の矛盾を最小限に抑えるものである。
論文 参考訳(メタデータ) (2022-09-26T12:04:49Z) - Transfer and Share: Semi-Supervised Learning from Long-Tailed Data [27.88381366842497]
本稿では、TRAS(TRAnsfer and Share)を用いて、長い尾を持つ半教師付きデータを効果的に活用する。
TRASは従来のSSLモデルの不均衡な擬似ラベル分布を変換する。
その後、マイノリティクラスが大きな注目を集めるように、分布をターゲットモデルに転送する。
論文 参考訳(メタデータ) (2022-05-26T13:37:59Z) - Trash to Treasure: Harvesting OOD Data with Cross-Modal Matching for
Open-Set Semi-Supervised Learning [101.28281124670647]
オープンセット半教師付き学習(Open-set SSL)では、ラベルなしデータにOOD(Out-of-distribution)サンプルを含む、難しいが実用的なシナリオを調査する。
我々は、OODデータの存在を効果的に活用し、特徴学習を増強する新しいトレーニングメカニズムを提案する。
我々のアプローチは、オープンセットSSLのパフォーマンスを大幅に向上させ、最先端技術よりも大きなマージンで性能を向上します。
論文 参考訳(メタデータ) (2021-08-12T09:14:44Z) - Deep Stable Learning for Out-Of-Distribution Generalization [27.437046504902938]
深層ニューラルネットワークに基づくアプローチは、同様の分布を持つデータとトレーニングデータをテストする際に顕著なパフォーマンスを達成した。
トレーニングとテストデータ間の分散シフトの影響を排除することは、パフォーマンス向上の深層モデルの構築に不可欠です。
トレーニングサンプルの学習重みによる特徴間の依存関係を除去し,この問題に対処することを提案する。
論文 参考訳(メタデータ) (2021-04-16T03:54:21Z) - A Realistic Evaluation of Semi-Supervised Learning for Fine-Grained
Classification [38.68079253627819]
本ベンチマークは, avesおよびfungi分類のクラスをサンプリングして得られた2つの細粒度分類データセットからなる。
最近提案されたSSLメソッドは大きなメリットをもたらし、深いネットワークがゼロから訓練されたときにクラス外のデータを効果的にパフォーマンスを向上させることができます。
我々の研究は、現実的データセットの専門家による半教師付き学習は、現在文学で普及しているものとは異なる戦略を必要とする可能性があることを示唆している。
論文 参考訳(メタデータ) (2021-04-01T17:59:41Z) - On Data-Augmentation and Consistency-Based Semi-Supervised Learning [77.57285768500225]
最近提案された整合性に基づく半教師付き学習(SSL)手法は,複数のSSLタスクにおいて最先端技術である。
これらの進歩にもかかわらず、これらの手法の理解はまだ比較的限られている。
論文 参考訳(メタデータ) (2021-01-18T10:12:31Z) - Matching Distributions via Optimal Transport for Semi-Supervised
Learning [31.533832244923843]
SSL(Semi-Supervised Learning)アプローチは、ラベルのないデータを使用する上で、影響力のあるフレームワークである。
本稿では、離散的経験的確率測度間の類似性の指標として最適輸送(OT)手法を採用する新しい手法を提案する。
提案手法を標準データセット上で,最先端のSSLアルゴリズムを用いて評価し,SSLアルゴリズムの優位性と有効性を示す。
論文 参考訳(メタデータ) (2020-12-04T11:15:14Z) - Distribution Aligning Refinery of Pseudo-label for Imbalanced
Semi-supervised Learning [126.31716228319902]
Pseudo-label (DARP) アルゴリズムの分散アライメント・リファナリーを開発する。
DARPは最先端のSSLスキームと有効かつ効率的に互換性があることを示す。
論文 参考訳(メタデータ) (2020-07-17T09:16:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。