論文の概要: When Noisy Labels Meet Long Tail Dilemmas: A Representation Calibration Method

• arxiv url: http://arxiv.org/abs/2211.10955v2
• Date: Thu, 17 Aug 2023 10:05:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-22 01:05:39.162713
• Title: When Noisy Labels Meet Long Tail Dilemmas: A Representation Calibration Method
• Title（参考訳）: ノイズラベルがロングテールジレンマに合致する場合:表現校正法
• Authors: Manyi Zhang, Xuyang Zhao, Jun Yao, Chun Yuan, Weiran Huang
• Abstract要約: 実世界のデータセットは騒々しくラベル付けされ、クラス不均衡である。 本稿では,表現キャリブレーション手法RCALを提案する。 我々は,表現キャリブレーションの有効性を論じるために理論的結果を得る。
• 参考スコア（独自算出の注目度）: 40.25499257944916
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Real-world large-scale datasets are both noisily labeled and class-imbalanced. The issues seriously hurt the generalization of trained models. It is hence significant to address the simultaneous incorrect labeling and class-imbalance, i.e., the problem of learning with noisy labels on long-tailed data. Previous works develop several methods for the problem. However, they always rely on strong assumptions that are invalid or hard to be checked in practice. In this paper, to handle the problem and address the limitations of prior works, we propose a representation calibration method RCAL. Specifically, RCAL works with the representations extracted by unsupervised contrastive learning. We assume that without incorrect labeling and class imbalance, the representations of instances in each class conform to a multivariate Gaussian distribution, which is much milder and easier to be checked. Based on the assumption, we recover underlying representation distributions from polluted ones resulting from mislabeled and class-imbalanced data. Additional data points are then sampled from the recovered distributions to help generalization. Moreover, during classifier training, representation learning takes advantage of representation robustness brought by contrastive learning, which further improves the classifier performance. We derive theoretical results to discuss the effectiveness of our representation calibration. Experiments on multiple benchmarks justify our claims and confirm the superiority of the proposed method.
• Abstract（参考訳）: 現実世界の大規模データセットは、騒々しくラベル付けされ、クラス不均衡です。 問題は、訓練されたモデルの一般化を著しく損なう。 したがって、長い尾を持つデータ上でノイズのあるラベルで学習する問題を、同時に不正確なラベル付けとクラス不均衡に対処することが重要である。 従来の研究ではいくつかの方法が開発されている。 しかし、彼らは常に無効または実際にチェックが難しい強い仮定に依存している。 本稿では,問題に対処し,先行研究の限界に対処するために,表現校正手法RCALを提案する。 具体的には、RCALは教師なしコントラスト学習によって抽出された表現で動作する。 不正なラベリングとクラスの不均衡がなければ、各クラスのインスタンスの表現は多変量ガウス分布に準拠し、より穏やかで容易にチェックできると仮定する。 この仮定に基づき,誤ラベルデータとクラス不均衡データから汚染された表現分布を復元する。 得られた分布から追加のデータポイントをサンプリングして一般化する。 さらに、分類子訓練において、表現学習は、対照学習によってもたらされる表現の強固さを活用し、さらに分類子性能を向上させる。 代表校正の有効性を議論するために理論的結果を引き出す。 複数のベンチマークを用いた実験により,提案手法の有効性を確認した。

関連論文リスト

• Exploring Vacant Classes in Label-Skewed Federated Learning [113.65301899666645]
  クライアント間の局所的なラベル分布の相違を特徴とするラベルスキューは、連合学習において大きな課題となる。 本稿では, ラベルスキュード・フェデレート学習における新しい手法であるFedVLSについて紹介する。
  論文  参考訳（メタデータ） (2024-01-04T16:06:31Z)
• Adjusting Logit in Gaussian Form for Long-Tailed Visual Recognition [37.62659619941791]
  特徴レベルの観点から、長い尾の視覚認識の問題について検討する。 2つの新しいロジット調整法が提案され,計算オーバーヘッドの緩やかなモデル性能が向上した。 ベンチマークデータセットを用いて行った実験は,提案手法の最先端手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-05-18T02:06:06Z)
• Tackling Instance-Dependent Label Noise with Dynamic Distribution Calibration [18.59803726676361]
  インスタンスに依存したラベルノイズは現実的だが、ラベルの破損プロセスはインスタンスに直接依存する。 これは、トレーニングの分布とテストデータの間に深刻な分布シフトを引き起こし、訓練されたモデルの一般化を損なう。 本稿では,インスタンス依存ラベル雑音を用いた学習における分布変化に対処するために,動的分布校正戦略を採用する。
  論文  参考訳（メタデータ） (2022-10-11T03:50:52Z)
• Learning to Adapt Classifier for Imbalanced Semi-supervised Learning [38.434729550279116]
  Pseudo-labelingは、有望な半教師付き学習(SSL)パラダイムであることが証明されている。 既存の擬似ラベル法では、トレーニングデータのクラス分布が均衡していると仮定するのが一般的である。 本研究では,不均衡な半教師付きセットアップ下での擬似ラベリングについて検討する。
  論文  参考訳（メタデータ） (2022-07-28T02:15:47Z)
• Throwing Away Data Improves Worst-Class Error in Imbalanced Classification [36.91428748713018]
  クラス不均衡は分類問題に悪影響を及ぼすが、その治療は理論と実践において異なる。 本稿では,線形分離可能なデータに対する分類器の誤りを記述できる学習理論の開発に挑戦する。
  論文  参考訳（メタデータ） (2022-05-23T23:43:18Z)
• Relieving Long-tailed Instance Segmentation via Pairwise Class Balance [85.53585498649252]
  長い尾のインスタンスセグメンテーションは、クラス間のトレーニングサンプルの極端な不均衡のために難しいタスクである。 尾のついたものに対して、(大多数のサンプルを含む)ヘッドクラスの深刻なバイアスを引き起こす。 そこで本研究では,学習中の予測嗜好を蓄積するために,学習中に更新される混乱行列上に構築された新しいPairwise Class Balance(PCB)手法を提案する。
  論文  参考訳（メタデータ） (2022-01-08T07:48:36Z)
• PLM: Partial Label Masking for Imbalanced Multi-label Classification [59.68444804243782]
  長いラベルの分布を持つ実世界のデータセットで訓練されたニューラルネットワークは、頻繁なクラスに偏りがあり、頻繁なクラスでは不十分である。 本稿では,この比率を利用したPLM(Partial Label Masking)を提案する。 本手法は,マルチラベル (MultiMNIST と MSCOCO) とシングルラベル (CIFAR-10 と CIFAR-100) の2つの画像分類データセットにおいて,既存の手法と比較して高い性能を実現する。
  論文  参考訳（メタデータ） (2021-05-22T18:07:56Z)
• Disentangling Sampling and Labeling Bias for Learning in Large-Output Spaces [64.23172847182109]
  異なる負のサンプリングスキームが支配的ラベルと稀なラベルで暗黙的にトレードオフパフォーマンスを示す。 すべてのラベルのサブセットで作業することで生じるサンプリングバイアスと、ラベルの不均衡に起因するデータ固有のラベルバイアスの両方に明示的に対処する統一された手段を提供する。
  論文  参考訳（メタデータ） (2021-05-12T15:40:13Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。