論文の概要: Rethinking the Value of Labels for Improving Class-Imbalanced Learning

• arxiv url: http://arxiv.org/abs/2006.07529v2
• Date: Sat, 26 Sep 2020 20:05:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-21 20:24:14.752015
• Title: Rethinking the Value of Labels for Improving Class-Imbalanced Learning
• Title（参考訳）: クラス不均衡学習を改善するためのラベルの価値再考
• Authors: Yuzhe Yang, Zhi Xu
• Abstract要約: クラス不均衡学習は、半教師ありと自己教師ありの両方の方法において有益である。 不均衡なラベルは常に役に立ちません。 この結果から,現実的な長期タスクにおける不均衡ラベルの使用を再考する必要性が浮き彫りとなった。
• 参考スコア（独自算出の注目度）: 20.953282288425118
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Real-world data often exhibits long-tailed distributions with heavy class imbalance, posing great challenges for deep recognition models. We identify a persisting dilemma on the value of labels in the context of imbalanced learning: on the one hand, supervision from labels typically leads to better results than its unsupervised counterparts; on the other hand, heavily imbalanced data naturally incurs "label bias" in the classifier, where the decision boundary can be drastically altered by the majority classes. In this work, we systematically investigate these two facets of labels. We demonstrate, theoretically and empirically, that class-imbalanced learning can significantly benefit in both semi-supervised and self-supervised manners. Specifically, we confirm that (1) positively, imbalanced labels are valuable: given more unlabeled data, the original labels can be leveraged with the extra data to reduce label bias in a semi-supervised manner, which greatly improves the final classifier; (2) negatively however, we argue that imbalanced labels are not useful always: classifiers that are first pre-trained in a self-supervised manner consistently outperform their corresponding baselines. Extensive experiments on large-scale imbalanced datasets verify our theoretically grounded strategies, showing superior performance over previous state-of-the-arts. Our intriguing findings highlight the need to rethink the usage of imbalanced labels in realistic long-tailed tasks. Code is available at https://github.com/YyzHarry/imbalanced-semi-self.
• Abstract（参考訳）: 実世界のデータは、しばしば重いクラス不均衡の長い尾の分布を示し、深層認識モデルにとって大きな課題となる。 不均衡学習の文脈において、ラベルの価値に持続するジレンマを識別する:一方、ラベルからの監督は、教師なし学習よりも良い結果をもたらす;一方、過度に不均衡なデータは分類器に自然に「ラベルバイアス」を生じさせ、そこで決定境界は多数クラスによって劇的に変更される。 本研究では,この2つのラベルを体系的に検討する。 半教師付き学習と自己教師付き学習の両方において,クラス不均衡学習が有益であることを示す。 具体的には,(1) ラベル付きラベルが有益であることが確認された: ラベル付きラベルがより多く与えられると, ラベルバイアスを半教師付き方式で低減し, 最終分類器を大幅に改善する; 負に, 不均衡ラベルは必ずしも有用ではない: 自己教師付き方式で事前訓練された分類器は, 常に対応するベースラインを上回っている。 大規模不均衡データセットに関する大規模な実験は、我々の理論上の基盤となる戦略を検証する。 我々の興味深い発見は、リアルなロングテールタスクにおける不均衡ラベルの使用を再考する必要性を浮き彫りにしている。 コードはhttps://github.com/YyzHarry/imbalanced-semi-selfで入手できる。

関連論文リスト

• Generating Unbiased Pseudo-labels via a Theoretically Guaranteed Chebyshev Constraint to Unify Semi-supervised Classification and Regression [57.17120203327993]
  分類におけるしきい値と擬似ラベルプロセス(T2L)は、ラベルの品質を決定するために信頼性を使用する。 本質的には、レグレッションは高品質なラベルを生成するためにバイアスのない方法も必要である。 チェビシェフの不等式に基づく不偏ラベルを生成するための理論的に保証された制約を提案する。
  論文  参考訳（メタデータ） (2023-11-03T08:39:35Z)
• Dist-PU: Positive-Unlabeled Learning from a Label Distribution Perspective [89.5370481649529]
  本稿では,PU学習のためのラベル分布視点を提案する。 そこで本研究では,予測型と基底型のラベル分布間のラベル分布の整合性を追求する。 提案手法の有効性を3つのベンチマークデータセットで検証した。
  論文  参考訳（メタデータ） (2022-12-06T07:38:29Z)
• When Noisy Labels Meet Long Tail Dilemmas: A Representation Calibration Method [40.25499257944916]
  実世界のデータセットは騒々しくラベル付けされ、クラス不均衡である。 本稿では,表現キャリブレーション手法RCALを提案する。 我々は,表現キャリブレーションの有効性を論じるために理論的結果を得る。
  論文  参考訳（メタデータ） (2022-11-20T11:36:48Z)
• Learning to Adapt Classifier for Imbalanced Semi-supervised Learning [38.434729550279116]
  Pseudo-labelingは、有望な半教師付き学習(SSL)パラダイムであることが証明されている。 既存の擬似ラベル法では、トレーニングデータのクラス分布が均衡していると仮定するのが一般的である。 本研究では,不均衡な半教師付きセットアップ下での擬似ラベリングについて検討する。
  論文  参考訳（メタデータ） (2022-07-28T02:15:47Z)
• Debiased Pseudo Labeling in Self-Training [77.83549261035277]
  ディープニューラルネットワークは、大規模ラベル付きデータセットの助けを借りて、幅広いタスクで顕著なパフォーマンスを達成する。 ラベル付きデータの要求を軽減するため、ラベル付けされていないデータに擬似ラベルを付けることにより、学術と産業の両方で自己学習が広く使われている。 疑似ラベルの生成と利用を2つの独立した頭文字で分離するデバイアスドを提案する。
  論文  参考訳（メタデータ） (2022-02-15T02:14:33Z)
• Debiased Learning from Naturally Imbalanced Pseudo-Labels for Zero-Shot and Semi-Supervised Learning [27.770473405635585]
  この研究は、疑似ラベルのバイアス問題を研究する。これは、広く起こるが、しばしば先行研究によって見落とされがちな自然現象である。 半教師付き学習モデルであるFixMatchは、ラベルなしデータを計算したとしても、ラベルなし集合上のラベルを予測したとき、重く長い尾の擬似ラベルを観察する。 介入なしに、トレーニングモデルは擬似ラベルからバイアスを継承し、最終的には準最適となる。
  論文  参考訳（メタデータ） (2022-01-05T07:40:24Z)
• Distribution-Aware Semantics-Oriented Pseudo-label for Imbalanced Semi-Supervised Learning [80.05441565830726]
  本稿では,疑似ラベルの重み付けがモデル性能に悪影響を及ぼすような,不均衡な半教師付き学習に対処する。 本稿では,この観測の動機となるバイアスに対処する,一般的な擬似ラベルフレームワークを提案する。 不均衡SSLのための新しい擬似ラベルフレームワークを、DASO(Distributed-Aware Semantics-Oriented Pseudo-label)と呼ぶ。
  論文  参考訳（メタデータ） (2021-06-10T11:58:25Z)
• Disentangling Sampling and Labeling Bias for Learning in Large-Output Spaces [64.23172847182109]
  異なる負のサンプリングスキームが支配的ラベルと稀なラベルで暗黙的にトレードオフパフォーマンスを示す。 すべてのラベルのサブセットで作業することで生じるサンプリングバイアスと、ラベルの不均衡に起因するデータ固有のラベルバイアスの両方に明示的に対処する統一された手段を提供する。
  論文  参考訳（メタデータ） (2021-05-12T15:40:13Z)
• Fairness Constraints in Semi-supervised Learning [56.48626493765908]
  我々は,最適化問題として定式化された,公平な半教師付き学習のためのフレームワークを開発する。 偏り・分散・雑音分解による半教師あり学習における識別源を理論的に分析する。 本手法は, 公平な半教師付き学習を達成でき, 公正な教師付き学習よりも精度と公平性のトレードオフが良好である。
  論文  参考訳（メタデータ） (2020-09-14T04:25:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。