論文の概要: On Non-Random Missing Labels in Semi-Supervised Learning
- arxiv url: http://arxiv.org/abs/2206.14923v1
- Date: Wed, 29 Jun 2022 22:01:29 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-01 13:31:34.447458
- Title: On Non-Random Missing Labels in Semi-Supervised Learning
- Title(参考訳): 半教師付き学習における非ランダム欠落ラベルについて
- Authors: Xinting Hu, Yulei Niu, Chunyan Miao, Xian-Sheng Hua, Hanwang Zhang
- Abstract要約: Semi-Supervised Learning (SSL)は基本的にラベルの問題である。
SSL に "class" を明示的に組み込んでいます。
提案手法は,既存のベースラインを著しく上回るだけでなく,他のラベルバイアス除去SSL法を上回ります。
- 参考スコア(独自算出の注目度): 114.62655062520425
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Semi-Supervised Learning (SSL) is fundamentally a missing label problem, in
which the label Missing Not At Random (MNAR) problem is more realistic and
challenging, compared to the widely-adopted yet naive Missing Completely At
Random assumption where both labeled and unlabeled data share the same class
distribution. Different from existing SSL solutions that overlook the role of
"class" in causing the non-randomness, e.g., users are more likely to label
popular classes, we explicitly incorporate "class" into SSL. Our method is
three-fold: 1) We propose Class-Aware Propensity (CAP) that exploits the
unlabeled data to train an improved classifier using the biased labeled data.
2) To encourage rare class training, whose model is low-recall but
high-precision that discards too many pseudo-labeled data, we propose
Class-Aware Imputation (CAI) that dynamically decreases (or increases) the
pseudo-label assignment threshold for rare (or frequent) classes. 3) Overall,
we integrate CAP and CAI into a Class-Aware Doubly Robust (CADR) estimator for
training an unbiased SSL model. Under various MNAR settings and ablations, our
method not only significantly outperforms existing baselines but also surpasses
other label bias removal SSL methods. Please check our code at:
https://github.com/JoyHuYY1412/CADR-FixMatch.
- Abstract(参考訳): Semi-Supervised Learning (SSL) は基本的に、ラベル付きデータとラベルなしデータの両方が同じクラス分布を共有するという、広く認識されているが単純でないミス・アット・ランダム(Missing Completely At Random, MNAR)よりも現実的で難しいラベル問題である。
非ランダム性の原因となる"クラス"の役割を見落としている既存のSSLソリューションとは異なり、例えば、ユーザは人気のあるクラスをラベル付けする傾向があり、"クラス"をSSLに明示的に組み込む。
私たちの方法は3倍です。
1) ラベルなしデータを活用し, バイアス付きラベル付きデータを用いて改良された分類器を訓練するクラスアウェア・プロペンサリティ(cap)を提案する。
2) 疑似ラベルデータを捨てる精度の高い低リコールモデルであるレアクラストレーニングを奨励するために,レアクラスにおける疑似ラベル割り当て閾値を動的に低下させる(または増加させる)クラスアウェアインプテーション(cai)を提案する。
3) 総じてCAPとCAIをCADR(Class-Aware Doubly Robust)推定器に統合し,非バイアスSSLモデルのトレーニングを行う。
様々なMNAR設定や短縮の下では、既存のベースラインを著しく上回るだけでなく、他のラベルバイアス除去SSLメソッドよりも優れている。
コードについては、https://github.com/JoyHuY1412/CADR-FixMatchを参照してください。
関連論文リスト
- Three Heads Are Better Than One: Complementary Experts for Long-Tailed
Semi-supervised Learning [79.86802448486334]
本稿では,様々なクラス分布をモデル化するComPlementary Experts (CPE) を提案する。
CPEは、CIFAR-10-LT、CIFAR-100-LT、STL-10-LTのベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2023-12-25T11:54:07Z) - SemiReward: A General Reward Model for Semi-supervised Learning [58.47299780978101]
半教師付き学習(SSL)は、擬似ラベリングによる自己学習フレームワークの様々な改善により、大きな進歩をみせた。
主な課題は、高品質な擬似ラベルを確認バイアスと区別する方法である。
本稿では、報酬スコアを予測して高品質な擬似ラベルを評価・フィルタリングするセミ教師付きリワードフレームワーク(SemiReward)を提案する。
論文 参考訳(メタデータ) (2023-10-04T17:56:41Z) - Semi-Supervised Learning in the Few-Shot Zero-Shot Scenario [14.916971861796384]
Semi-Supervised Learning (SSL)は、ラベル付きデータとラベルなしデータの両方を利用して、モデルのパフォーマンスを向上させるフレームワークである。
既存のSSLメソッドを拡張し、特定のクラスが欠落している状況に対処するための一般的なアプローチを提案する。
実験の結果,最先端のSSL,オープンセットのSSL,オープンワールドのSSLメソッドと比較して,精度が大幅に向上した。
論文 参考訳(メタデータ) (2023-08-27T14:25:07Z) - Semi-Supervised Learning via Weight-aware Distillation under Class
Distribution Mismatch [15.57119122765309]
我々は、SSLエラーを軽減するために、Weight-Aware Distillation (WAD)と呼ばれる堅牢なSSLフレームワークを提案する。
WADは、表現空間内のポイント相互情報(PMI)を探索することにより、適応重みと高品質な擬似ラベルをターゲットインスタンスにキャプチャする。
集団分布ミスマッチでは,WADは人口リスクの上限が狭いことが証明された。
論文 参考訳(メタデータ) (2023-08-23T02:37:34Z) - Towards Semi-supervised Learning with Non-random Missing Labels [42.71454054383897]
クラス遷移追跡に基づく Pseudo-Rectifying Guidance (PRG) は、MNAR (Missing Not At Random) ラベルのために考案された。
PRGは、疑似修正手順によって引き起こされたクラス分布とクラス遷移の履歴情報を統一する。
さまざまなMNARシナリオにおけるPRGの優れたパフォーマンスを示し、最新のSSLアプローチよりも優れています。
論文 参考訳(メタデータ) (2023-08-17T09:09:36Z) - Semi-Supervised Learning with Multiple Imputations on Non-Random Missing
Labels [0.0]
Semi-Supervised Learning (SSL)は、ラベル付きデータとラベルなしデータの両方でアルゴリズムがトレーニングされるときに実装される。
本稿では,より高精度でバイアスの少ない複数の計算モデルを組み合わせるための2つの新しい手法を提案する。
論文 参考訳(メタデータ) (2023-08-15T04:09:53Z) - NorMatch: Matching Normalizing Flows with Discriminative Classifiers for
Semi-Supervised Learning [8.749830466953584]
Semi-Supervised Learning (SSL)は、小さなラベル付きセットと大量のラベルなしデータを使ってモデルを学習することを目的としている。
この作業では、NorMatchというSSLの新しいフレームワークを紹介します。
数値的および視覚的な結果を通して、NorMatchはいくつかのデータセットで最先端のパフォーマンスを達成することを実証する。
論文 参考訳(メタデータ) (2022-11-17T15:39:18Z) - Robust Deep Semi-Supervised Learning: A Brief Introduction [63.09703308309176]
半教師付き学習(SSL)は、ラベルが不十分なときにラベル付きデータを活用することにより、学習性能を向上させることを目的としている。
ディープモデルによるSSLは、標準ベンチマークタスクで成功したことが証明されている。
しかし、それらは現実世界のアプリケーションにおける様々な堅牢性に対する脅威に対して依然として脆弱である。
論文 参考訳(メタデータ) (2022-02-12T04:16:41Z) - Distribution-Aware Semantics-Oriented Pseudo-label for Imbalanced
Semi-Supervised Learning [80.05441565830726]
本稿では,疑似ラベルの重み付けがモデル性能に悪影響を及ぼすような,不均衡な半教師付き学習に対処する。
本稿では,この観測の動機となるバイアスに対処する,一般的な擬似ラベルフレームワークを提案する。
不均衡SSLのための新しい擬似ラベルフレームワークを、DASO(Distributed-Aware Semantics-Oriented Pseudo-label)と呼ぶ。
論文 参考訳(メタデータ) (2021-06-10T11:58:25Z) - In Defense of Pseudo-Labeling: An Uncertainty-Aware Pseudo-label
Selection Framework for Semi-Supervised Learning [53.1047775185362]
Pseudo-labeling (PL) は一般的な SSL アプローチで、この制約はありませんが、当初の処方では比較的不十分です。
PLは不整合モデルからの誤った高い信頼度予測により性能が低下していると論じる。
そこで本研究では,疑似ラベリング精度を向上させるための不確実性認識型擬似ラベル選択(ups)フレームワークを提案する。
論文 参考訳(メタデータ) (2021-01-15T23:29:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。