論文の概要: InPL: Pseudo-labeling the Inliers First for Imbalanced Semi-supervised
Learning
- arxiv url: http://arxiv.org/abs/2303.07269v1
- Date: Mon, 13 Mar 2023 16:45:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-14 13:56:03.133979
- Title: InPL: Pseudo-labeling the Inliers First for Imbalanced Semi-supervised
Learning
- Title(参考訳): InPL:不均衡半教師あり学習のためのインレーヤの擬似ラベル付け
- Authors: Zhuoran Yu, Yin Li, Yong Jae Lee
- Abstract要約: 不均衡半教師付き学習(SSL)のための疑似ラベルの新しい視点を提案する。
未表示のサンプルが「流通中」か「流通外」かを測定する。
実験により、我々のエネルギーベース擬似ラベル法である textbfInPL が、不均衡なSSLベンチマークにおいて信頼性ベースの手法よりも著しく優れていることが示された。
- 参考スコア(独自算出の注目度): 34.062061310242385
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent state-of-the-art methods in imbalanced semi-supervised learning (SSL)
rely on confidence-based pseudo-labeling with consistency regularization. To
obtain high-quality pseudo-labels, a high confidence threshold is typically
adopted. However, it has been shown that softmax-based confidence scores in
deep networks can be arbitrarily high for samples far from the training data,
and thus, the pseudo-labels for even high-confidence unlabeled samples may
still be unreliable. In this work, we present a new perspective of
pseudo-labeling for imbalanced SSL. Without relying on model confidence, we
propose to measure whether an unlabeled sample is likely to be
``in-distribution''; i.e., close to the current training data. To decide
whether an unlabeled sample is ``in-distribution'' or ``out-of-distribution'',
we adopt the energy score from out-of-distribution detection literature. As
training progresses and more unlabeled samples become in-distribution and
contribute to training, the combined labeled and pseudo-labeled data can better
approximate the true class distribution to improve the model. Experiments
demonstrate that our energy-based pseudo-labeling method, \textbf{InPL}, albeit
conceptually simple, significantly outperforms confidence-based methods on
imbalanced SSL benchmarks. For example, it produces around 3\% absolute
accuracy improvement on CIFAR10-LT. When combined with state-of-the-art
long-tailed SSL methods, further improvements are attained. In particular, in
one of the most challenging scenarios, InPL achieves a 6.9\% accuracy
improvement over the best competitor.
- Abstract(参考訳): 不均衡半教師付き学習(SSL)における最近の最先端手法は、信頼に基づく疑似ラベルと整合性正規化に依存している。
高品質な擬似ラベルを得るには、一般的に高い信頼しきい値を採用する。
しかし,深層ネットワークにおけるソフトマックスに基づく信頼度スコアは,トレーニングデータから離れたサンプルでは任意に高い値となり,信頼性の低いサンプルであっても疑似ラベルは信頼できない可能性がある。
本研究では,不均衡なSSLに対する疑似ラベルの新たな視点を示す。
モデル信頼性に頼らず、未ラベルのサンプルが'in-distribution''、すなわち現在のトレーニングデータに近いかどうかを測定することを提案する。
ラベルのないサンプルが ‘in-distribution' か `out-of-distribution'' かを判定するために,out-out-distribution detection literature のエネルギスコアを採用する。
トレーニングが進み、ラベルのないサンプルが流通し、トレーニングに寄与するにつれて、ラベル付きデータと擬ラベル付きデータは真のクラス分布をよりよく近似してモデルを改善することができる。
実験により, エネルギーベース擬似ラベル法である \textbf{inpl} が, 概念的には単純であるが, 不均衡なsslベンチマークでは信頼度ベースの手法を著しく上回っていることを実証した。
例えば、cifar10-ltの絶対精度は約3\%向上する。
最先端のロングテールSSLメソッドと組み合わせると、さらなる改善が達成される。
特に、最も難しいシナリオの1つとして、InPLは最高の競合よりも6.9倍の精度で改善している。
関連論文リスト
- Learning with Imbalanced Noisy Data by Preventing Bias in Sample
Selection [82.43311784594384]
実世界のデータセットには、ノイズの多いラベルだけでなく、クラス不均衡も含まれている。
不均衡なデータセットにおけるノイズラベルに対処する,単純かつ効果的な手法を提案する。
論文 参考訳(メタデータ) (2024-02-17T10:34:53Z) - Semi-Supervised Class-Agnostic Motion Prediction with Pseudo Label
Regeneration and BEVMix [59.55173022987071]
クラス非依存動作予測のための半教師あり学習の可能性について検討する。
我々のフレームワークは一貫性に基づく自己学習パラダイムを採用しており、ラベルのないデータからモデルを学習することができる。
本手法は,弱さと完全教師付き手法に匹敵する性能を示す。
論文 参考訳(メタデータ) (2023-12-13T09:32:50Z) - Boosting Semi-Supervised Learning by bridging high and low-confidence
predictions [4.18804572788063]
Pseudo-labelingは半教師あり学習(SSL)において重要な技術である
ReFixMatchと呼ばれる新しい手法を提案し、これはトレーニング中にラベルなしのデータをすべて活用することを目的としている。
論文 参考訳(メタデータ) (2023-08-15T00:27:18Z) - SoftMatch: Addressing the Quantity-Quality Trade-off in Semi-supervised
Learning [101.86916775218403]
本稿では, サンプル重み付けを統一した定式化により, 一般的な擬似ラベル法を再検討する。
トレーニング中の擬似ラベルの量と質を両立させることでトレードオフを克服するSoftMatchを提案する。
実験では、画像、テキスト、不均衡な分類など、さまざまなベンチマークで大幅に改善されている。
論文 参考訳(メタデータ) (2023-01-26T03:53:25Z) - EnergyMatch: Energy-based Pseudo-Labeling for Semi-Supervised Learning [34.062061310242385]
半教師付き学習(SSL)における最近の最先端手法は、整合性正規化と信頼に基づく疑似ラベルを組み合わせる。
モデル信頼に頼る代わりに、ラベルのないサンプルが「流通中」であるかどうかを測定する。
論文 参考訳(メタデータ) (2022-06-13T17:55:07Z) - Dash: Semi-Supervised Learning with Dynamic Thresholding [72.74339790209531]
我々は、ラベルのない例を使ってモデルをトレーニングする半教師付き学習(SSL)アプローチを提案する。
提案手法であるDashは、ラベルなしデータ選択の観点から適応性を享受する。
論文 参考訳(メタデータ) (2021-09-01T23:52:29Z) - In Defense of Pseudo-Labeling: An Uncertainty-Aware Pseudo-label
Selection Framework for Semi-Supervised Learning [53.1047775185362]
Pseudo-labeling (PL) は一般的な SSL アプローチで、この制約はありませんが、当初の処方では比較的不十分です。
PLは不整合モデルからの誤った高い信頼度予測により性能が低下していると論じる。
そこで本研究では,疑似ラベリング精度を向上させるための不確実性認識型擬似ラベル選択(ups)フレームワークを提案する。
論文 参考訳(メタデータ) (2021-01-15T23:29:57Z) - Distribution Aligning Refinery of Pseudo-label for Imbalanced
Semi-supervised Learning [126.31716228319902]
Pseudo-label (DARP) アルゴリズムの分散アライメント・リファナリーを開発する。
DARPは最先端のSSLスキームと有効かつ効率的に互換性があることを示す。
論文 参考訳(メタデータ) (2020-07-17T09:16:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。