論文の概要: EnergyMatch: Energy-based Pseudo-Labeling for Semi-Supervised Learning
- arxiv url: http://arxiv.org/abs/2206.06359v1
- Date: Mon, 13 Jun 2022 17:55:07 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-14 13:36:37.886116
- Title: EnergyMatch: Energy-based Pseudo-Labeling for Semi-Supervised Learning
- Title（参考訳）: EnergyMatch:セミスーパービジョンラーニングのためのエネルギーベース擬似ラベル
- Authors: Zhuoran Yu, Yin Li, Yong Jae Lee
- Abstract要約: 半教師付き学習(SSL)における最近の最先端手法は、整合性正規化と信頼に基づく疑似ラベルを組み合わせる。
モデル信頼に頼る代わりに、ラベルのないサンプルが「流通中」であるかどうかを測定する。
- 参考スコア（独自算出の注目度）: 34.062061310242385
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent state-of-the-art methods in semi-supervised learning (SSL) combine
consistency regularization with confidence-based pseudo-labeling. To obtain
high-quality pseudo-labels, a high confidence threshold is typically adopted.
However, it has been shown that softmax-based confidence scores in deep
networks can be arbitrarily high for samples far from the training data, and
thus, the pseudo-labels for even high-confidence unlabeled samples may still be
unreliable. In this work, we present a new perspective of pseudo-labeling:
instead of relying on model confidence, we instead measure whether an unlabeled
sample is likely to be "in-distribution"; i.e., close to the current training
data. To classify whether an unlabeled sample is "in-distribution" or
"out-of-distribution", we adopt the energy score from out-of-distribution
detection literature. As training progresses and more unlabeled samples become
in-distribution and contribute to training, the combined labeled and
pseudo-labeled data can better approximate the true distribution to improve the
model. Experiments demonstrate that our energy-based pseudo-labeling method,
albeit conceptually simple, significantly outperforms confidence-based methods
on imbalanced SSL benchmarks, and achieves competitive performance on
class-balanced data. For example, it produces a 4-6% absolute accuracy
improvement on CIFAR10-LT when the imbalance ratio is higher than 50. When
combined with state-of-the-art long-tailed SSL methods, further improvements
are attained.
- Abstract（参考訳）: 半教師付き学習(SSL)における最近の最先端手法は、整合性正規化と信頼に基づく疑似ラベルを組み合わせる。
高品質な擬似ラベルを得るには、一般的に高い信頼しきい値を採用する。
しかし,深層ネットワークにおけるソフトマックスに基づく信頼度スコアは,トレーニングデータから離れたサンプルでは任意に高い値となり,信頼性の低いサンプルであっても疑似ラベルは信頼できない可能性がある。
本研究では,モデル信頼度に頼らずに,ラベルなしサンプルが"分布内"である可能性が高いか,すなわち現在のトレーニングデータに近いかを測定する。
ラベルのないサンプルが「分布内」か「分布外」かを分類するために、分布外検出文献からのエネルギースコアを採用する。
トレーニングが進み、ラベルのないサンプルが流通し、トレーニングに寄与するにつれて、ラベル付きデータと擬ラベル付きデータを組み合わせることで、真の分布を近似してモデルを改善することができる。
提案手法は, 概念的には単純であるが, 不均衡sslベンチマークにおける信頼度ベース手法を著しく上回っており, クラスバランスデータにおける競合性能を実現した。
例えば、不均衡比が50を超えると、cifar10-ltの絶対精度が4-6%向上する。
最先端のロングテールSSLメソッドと組み合わせると、さらなる改善が達成される。
関連論文リスト
- Continuous Contrastive Learning for Long-Tailed Semi-Supervised Recognition [50.61991746981703]
現在の最先端のLTSSLアプローチは、大規模な未ラベルデータに対して高品質な擬似ラベルに依存している。
本稿では,長期学習における様々な提案を統一する新しい確率的枠組みを提案する。
我々は、信頼度とスムーズな擬似ラベルを用いて、我々のフレームワークをラベルなしデータに拡張する、連続的コントラスト学習手法であるCCLを導入する。
論文 参考訳（メタデータ） (2024-10-08T15:06:10Z) - Learning Label Refinement and Threshold Adjustment for Imbalanced Semi-Supervised Learning [6.904448748214652]
半教師付き学習アルゴリズムは、不均衡なトレーニングデータに晒された場合、うまく機能しない。
Validation Data(SEVAL)に基づく擬似ラベル最適化によるセミ教師あり学習について紹介する。
SEVALは、擬似ラベルの精度を改善して特定のタスクに適応し、クラスごとに擬似ラベルの正確性を保証する。
論文 参考訳（メタデータ） (2024-07-07T13:46:22Z) - Self-Knowledge Distillation for Learning Ambiguity [11.755814660833549]
最近の言語モデルは、その正確さを考慮せずに単一のラベルを過度に予測することが多い。
本稿では,ラベル分布をより正確に学習できる新しい自己知識蒸留法を提案する。
本手法を多種多様なNLUベンチマークデータセットで検証し,実験結果から,より優れたラベル分布を生成する上での有効性を実証した。
論文 参考訳（メタデータ） (2024-06-14T05:11:32Z) - A Channel-ensemble Approach: Unbiased and Low-variance Pseudo-labels is Critical for Semi-supervised Classification [61.473485511491795]
半教師付き学習(SSL)はコンピュータビジョンにおける実践的な課題である。
Pseudo-label (PL) メソッド、例えば FixMatch や FreeMatch は SSL で State of The Art (SOTA) のパフォーマンスを取得する。
本稿では,複数の下位PLを理論的に保証された非偏りと低分散のPLに集約する,軽量なチャネルベースアンサンブル法を提案する。
論文 参考訳（メタデータ） (2024-03-27T09:49:37Z) - InPL: Pseudo-labeling the Inliers First for Imbalanced Semi-supervised
Learning [34.062061310242385]
不均衡半教師付き学習(SSL)のための疑似ラベルの新しい視点を提案する。
未表示のサンプルが「流通中」か「流通外」かを測定する。
実験により、我々のエネルギーベース擬似ラベル法である textbfInPL が、不均衡なSSLベンチマークにおいて信頼性ベースの手法よりも著しく優れていることが示された。
論文 参考訳（メタデータ） (2023-03-13T16:45:41Z) - SoftMatch: Addressing the Quantity-Quality Trade-off in Semi-supervised
Learning [101.86916775218403]
本稿では, サンプル重み付けを統一した定式化により, 一般的な擬似ラベル法を再検討する。
トレーニング中の擬似ラベルの量と質を両立させることでトレードオフを克服するSoftMatchを提案する。
実験では、画像、テキスト、不均衡な分類など、さまざまなベンチマークで大幅に改善されている。
論文 参考訳（メタデータ） (2023-01-26T03:53:25Z) - Dash: Semi-Supervised Learning with Dynamic Thresholding [72.74339790209531]
我々は、ラベルのない例を使ってモデルをトレーニングする半教師付き学習(SSL)アプローチを提案する。
提案手法であるDashは、ラベルなしデータ選択の観点から適応性を享受する。
論文 参考訳（メタデータ） (2021-09-01T23:52:29Z) - In Defense of Pseudo-Labeling: An Uncertainty-Aware Pseudo-label
Selection Framework for Semi-Supervised Learning [53.1047775185362]
Pseudo-labeling (PL) は一般的な SSL アプローチで、この制約はありませんが、当初の処方では比較的不十分です。
PLは不整合モデルからの誤った高い信頼度予測により性能が低下していると論じる。
そこで本研究では,疑似ラベリング精度を向上させるための不確実性認識型擬似ラベル選択(ups)フレームワークを提案する。
論文 参考訳（メタデータ） (2021-01-15T23:29:57Z) - Distribution Aligning Refinery of Pseudo-label for Imbalanced
Semi-supervised Learning [126.31716228319902]
Pseudo-label (DARP) アルゴリズムの分散アライメント・リファナリーを開発する。
DARPは最先端のSSLスキームと有効かつ効率的に互換性があることを示す。
論文 参考訳（メタデータ） (2020-07-17T09:16:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。