論文の概要: EnergyMatch: Energy-based Pseudo-Labeling for Semi-Supervised Learning
- arxiv url: http://arxiv.org/abs/2206.06359v1
- Date: Mon, 13 Jun 2022 17:55:07 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-14 13:36:37.886116
- Title: EnergyMatch: Energy-based Pseudo-Labeling for Semi-Supervised Learning
- Title(参考訳): EnergyMatch:セミスーパービジョンラーニングのためのエネルギーベース擬似ラベル
- Authors: Zhuoran Yu, Yin Li, Yong Jae Lee
- Abstract要約: 半教師付き学習(SSL)における最近の最先端手法は、整合性正規化と信頼に基づく疑似ラベルを組み合わせる。
モデル信頼に頼る代わりに、ラベルのないサンプルが「流通中」であるかどうかを測定する。
- 参考スコア(独自算出の注目度): 34.062061310242385
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent state-of-the-art methods in semi-supervised learning (SSL) combine
consistency regularization with confidence-based pseudo-labeling. To obtain
high-quality pseudo-labels, a high confidence threshold is typically adopted.
However, it has been shown that softmax-based confidence scores in deep
networks can be arbitrarily high for samples far from the training data, and
thus, the pseudo-labels for even high-confidence unlabeled samples may still be
unreliable. In this work, we present a new perspective of pseudo-labeling:
instead of relying on model confidence, we instead measure whether an unlabeled
sample is likely to be "in-distribution"; i.e., close to the current training
data. To classify whether an unlabeled sample is "in-distribution" or
"out-of-distribution", we adopt the energy score from out-of-distribution
detection literature. As training progresses and more unlabeled samples become
in-distribution and contribute to training, the combined labeled and
pseudo-labeled data can better approximate the true distribution to improve the
model. Experiments demonstrate that our energy-based pseudo-labeling method,
albeit conceptually simple, significantly outperforms confidence-based methods
on imbalanced SSL benchmarks, and achieves competitive performance on
class-balanced data. For example, it produces a 4-6% absolute accuracy
improvement on CIFAR10-LT when the imbalance ratio is higher than 50. When
combined with state-of-the-art long-tailed SSL methods, further improvements
are attained.
- Abstract(参考訳): 半教師付き学習(SSL)における最近の最先端手法は、整合性正規化と信頼に基づく疑似ラベルを組み合わせる。
高品質な擬似ラベルを得るには、一般的に高い信頼しきい値を採用する。
しかし,深層ネットワークにおけるソフトマックスに基づく信頼度スコアは,トレーニングデータから離れたサンプルでは任意に高い値となり,信頼性の低いサンプルであっても疑似ラベルは信頼できない可能性がある。
本研究では,モデル信頼度に頼らずに,ラベルなしサンプルが"分布内"である可能性が高いか,すなわち現在のトレーニングデータに近いかを測定する。
ラベルのないサンプルが「分布内」か「分布外」かを分類するために、分布外検出文献からのエネルギースコアを採用する。
トレーニングが進み、ラベルのないサンプルが流通し、トレーニングに寄与するにつれて、ラベル付きデータと擬ラベル付きデータを組み合わせることで、真の分布を近似してモデルを改善することができる。
提案手法は, 概念的には単純であるが, 不均衡sslベンチマークにおける信頼度ベース手法を著しく上回っており, クラスバランスデータにおける競合性能を実現した。
例えば、不均衡比が50を超えると、cifar10-ltの絶対精度が4-6%向上する。
最先端のロングテールSSLメソッドと組み合わせると、さらなる改善が達成される。
関連論文リスト
- Semi-Supervised Class-Agnostic Motion Prediction with Pseudo Label
Regeneration and BEVMix [59.55173022987071]
クラス非依存動作予測のための半教師あり学習の可能性について検討する。
我々のフレームワークは一貫性に基づく自己学習パラダイムを採用しており、ラベルのないデータからモデルを学習することができる。
本手法は,弱さと完全教師付き手法に匹敵する性能を示す。
論文 参考訳(メタデータ) (2023-12-13T09:32:50Z) - InPL: Pseudo-labeling the Inliers First for Imbalanced Semi-supervised
Learning [34.062061310242385]
不均衡半教師付き学習(SSL)のための疑似ラベルの新しい視点を提案する。
未表示のサンプルが「流通中」か「流通外」かを測定する。
実験により、我々のエネルギーベース擬似ラベル法である textbfInPL が、不均衡なSSLベンチマークにおいて信頼性ベースの手法よりも著しく優れていることが示された。
論文 参考訳(メタデータ) (2023-03-13T16:45:41Z) - SoftMatch: Addressing the Quantity-Quality Trade-off in Semi-supervised
Learning [101.86916775218403]
本稿では, サンプル重み付けを統一した定式化により, 一般的な擬似ラベル法を再検討する。
トレーニング中の擬似ラベルの量と質を両立させることでトレードオフを克服するSoftMatchを提案する。
実験では、画像、テキスト、不均衡な分類など、さまざまなベンチマークで大幅に改善されている。
論文 参考訳(メタデータ) (2023-01-26T03:53:25Z) - FreeMatch: Self-adaptive Thresholding for Semi-supervised Learning [46.95063831057502]
本稿では,モデルの学習状況に応じて,信頼度閾値を自己適応的に定義・調整するためのemphFreeMatchを提案する。
FreeMatchは、最新の最先端メソッドであるFlexMatchよりもtextbf5.78%、textbf13.59%、textbf1.28%のエラー率削減を実現している。
論文 参考訳(メタデータ) (2022-05-15T10:07:52Z) - Dash: Semi-Supervised Learning with Dynamic Thresholding [72.74339790209531]
我々は、ラベルのない例を使ってモデルをトレーニングする半教師付き学習(SSL)アプローチを提案する。
提案手法であるDashは、ラベルなしデータ選択の観点から適応性を享受する。
論文 参考訳(メタデータ) (2021-09-01T23:52:29Z) - Distribution-Aware Semantics-Oriented Pseudo-label for Imbalanced
Semi-Supervised Learning [80.05441565830726]
本稿では,疑似ラベルの重み付けがモデル性能に悪影響を及ぼすような,不均衡な半教師付き学習に対処する。
本稿では,この観測の動機となるバイアスに対処する,一般的な擬似ラベルフレームワークを提案する。
不均衡SSLのための新しい擬似ラベルフレームワークを、DASO(Distributed-Aware Semantics-Oriented Pseudo-label)と呼ぶ。
論文 参考訳(メタデータ) (2021-06-10T11:58:25Z) - In Defense of Pseudo-Labeling: An Uncertainty-Aware Pseudo-label
Selection Framework for Semi-Supervised Learning [53.1047775185362]
Pseudo-labeling (PL) は一般的な SSL アプローチで、この制約はありませんが、当初の処方では比較的不十分です。
PLは不整合モデルからの誤った高い信頼度予測により性能が低下していると論じる。
そこで本研究では,疑似ラベリング精度を向上させるための不確実性認識型擬似ラベル選択(ups)フレームワークを提案する。
論文 参考訳(メタデータ) (2021-01-15T23:29:57Z) - Distribution Aligning Refinery of Pseudo-label for Imbalanced
Semi-supervised Learning [126.31716228319902]
Pseudo-label (DARP) アルゴリズムの分散アライメント・リファナリーを開発する。
DARPは最先端のSSLスキームと有効かつ効率的に互換性があることを示す。
論文 参考訳(メタデータ) (2020-07-17T09:16:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。