論文の概要: Tackling Instance-Dependent Label Noise with Dynamic Distribution Calibration

• arxiv url: http://arxiv.org/abs/2210.05126v1
• Date: Tue, 11 Oct 2022 03:50:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-12 13:43:41.567052
• Title: Tackling Instance-Dependent Label Noise with Dynamic Distribution Calibration
• Title（参考訳）: 動的分布校正によるインスタンス依存ラベルノイズ対策
• Authors: Manyi Zhang, Yuxin Ren, Zihao Wang, Chun Yuan
• Abstract要約: インスタンスに依存したラベルノイズは現実的だが、ラベルの破損プロセスはインスタンスに直接依存する。 これは、トレーニングの分布とテストデータの間に深刻な分布シフトを引き起こし、訓練されたモデルの一般化を損なう。 本稿では,インスタンス依存ラベル雑音を用いた学習における分布変化に対処するために,動的分布校正戦略を採用する。
• 参考スコア（独自算出の注目度）: 18.59803726676361
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Instance-dependent label noise is realistic but rather challenging, where the label-corruption process depends on instances directly. It causes a severe distribution shift between the distributions of training and test data, which impairs the generalization of trained models. Prior works put great effort into tackling the issue. Unfortunately, these works always highly rely on strong assumptions or remain heuristic without theoretical guarantees. In this paper, to address the distribution shift in learning with instance-dependent label noise, a dynamic distribution-calibration strategy is adopted. Specifically, we hypothesize that, before training data are corrupted by label noise, each class conforms to a multivariate Gaussian distribution at the feature level. Label noise produces outliers to shift the Gaussian distribution. During training, to calibrate the shifted distribution, we propose two methods based on the mean and covariance of multivariate Gaussian distribution respectively. The mean-based method works in a recursive dimension-reduction manner for robust mean estimation, which is theoretically guaranteed to train a high-quality model against label noise. The covariance-based method works in a distribution disturbance manner, which is experimentally verified to improve the model robustness. We demonstrate the utility and effectiveness of our methods on datasets with synthetic label noise and real-world unknown noise.
• Abstract（参考訳）: インスタンスに依存したラベルノイズは現実的だが、ラベル破壊プロセスはインスタンスに直接依存する。 これは、トレーニングとテストデータの分布の間に厳しい分布変化を引き起こし、トレーニングされたモデルの一般化を妨げる。 以前の仕事はこの問題に取り組むのに多大な努力を払った。 残念ながら、これらの作品は常に強い仮定に頼り、理論的な保証なしにヒューリスティックなままである。 本稿では,インスタンス依存ラベル雑音を伴う学習における分布変化に対処するため,動的分布分割戦略を提案する。 具体的には,学習データがラベルノイズによって破壊される前に,各クラスは特徴レベルの多変量ガウス分布に従うことを仮定する。 ラベルノイズはガウス分布をシフトするために外れ値を生成する。 学習中にシフト分布を校正するために,多変量ガウス分布の平均と共分散に基づく2つの方法を提案する。 この平均に基づく手法は、理論上はラベルノイズに対して高品質なモデルを訓練することが保証されているロバスト平均推定のために再帰的な次元還元方式で動作する。 共分散に基づく手法は, モデルロバスト性を改善するために実験的に検証された分散乱れ方式で動作する。 合成ラベルノイズと実世界の未知雑音を含むデータセットに対して,本手法の有効性と有効性を示す。

関連論文リスト

• Optimizing the Noise in Self-Supervised Learning: from Importance Sampling to Noise-Contrastive Estimation [80.07065346699005]
  GAN(Generative Adversarial Networks)のように、最適な雑音分布はデータ分布に等しくなると広く想定されている。 我々は、この自己教師型タスクをエネルギーベースモデルの推定問題として基礎づけるノイズ・コントラスト推定に目を向ける。 本研究は, 最適雑音のサンプリングは困難であり, 効率性の向上は, データに匹敵する雑音分布を選択することに比べ, 緩やかに行うことができると結論付けた。
  論文  参考訳（メタデータ） (2023-01-23T19:57:58Z)
• Learning with Noisily-labeled Class-imbalanced Data [18.840410789340574]
  実世界の大規模データセットはノイズにラベル付けされ、クラス不均衡である。 本稿では,その問題に対処する表現キャリブレーション手法RCALを提案する。
  論文  参考訳（メタデータ） (2022-11-20T11:36:48Z)
• Combating Noisy Labels in Long-Tailed Image Classification [33.40963778043824]
  本稿では,長期分布とラベルノイズの両方を用いて,画像分類課題に早期に取り組む。 既存のノイズキャンバス学習手法では, ノイズの多いサンプルをテールクラスのクリーンなサンプルと区別することが難しいため, このシナリオでは機能しない。 本稿では,弱いデータと強いデータに対する推測の一致に基づく新しい学習パラダイムを提案し,ノイズのあるサンプルをスクリーニングする。
  論文  参考訳（メタデータ） (2022-09-01T07:31:03Z)
• Uncertainty-Aware Learning Against Label Noise on Imbalanced Datasets [23.4536532321199]
  不整合データセットのラベルノイズを処理するための不確かさを意識したラベル補正フレームワークを提案する。 本研究では,不均衡なデータセットのラベルノイズを処理するために,不確かさを意識したラベル補正フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-12T11:35:55Z)
• The Optimal Noise in Noise-Contrastive Learning Is Not What You Think [80.07065346699005]
  この仮定から逸脱すると、実際により良い統計的推定結果が得られることが示される。 特に、最適な雑音分布は、データと異なり、また、別の家族からさえも異なる。
  論文  参考訳（メタデータ） (2022-03-02T13:59:20Z)
• Certifying Model Accuracy under Distribution Shifts [151.67113334248464]
  本稿では,データ分布の有界ワッサースタインシフトの下でのモデルの精度について,証明可能なロバスト性保証を提案する。 変換空間におけるモデルの入力をランダム化する単純な手順は、変換の下での分布シフトに対して確実に堅牢であることを示す。
  論文  参考訳（メタデータ） (2022-01-28T22:03:50Z)
• Ensemble Learning with Manifold-Based Data Splitting for Noisy Label Correction [20.401661156102897]
  トレーニングデータのノイズラベルは モデルの一般化性能を著しく低下させる 特徴多様体の局所構造を利用して雑音ラベルを補正するアンサンブル学習法を提案する。 実世界の雑音ラベルデータセットに関する実験では,提案手法が既存手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2021-03-13T07:24:58Z)
• Learning Noise Transition Matrix from Only Noisy Labels via Total Variation Regularization [88.91872713134342]
  本稿では,雑音遷移行列を推定し,同時に分類器を学習する理論的基礎付け手法を提案する。 提案手法の有効性を,ベンチマークおよび実世界のデータセットを用いた実験により示す。
  論文  参考訳（メタデータ） (2021-02-04T05:09:18Z)
• Tackling Instance-Dependent Label Noise via a Universal Probabilistic Model [80.91927573604438]
  本稿では,ノイズラベルをインスタンスに明示的に関連付ける,単純かつ普遍的な確率モデルを提案する。 合成および実世界のラベルノイズを用いたデータセット実験により,提案手法がロバスト性に大きな改善をもたらすことを確認した。
  論文  参考訳（メタデータ） (2021-01-14T05:43:51Z)
• A Second-Order Approach to Learning with Instance-Dependent Label Noise [58.555527517928596]
  ラベルノイズの存在は、しばしばディープニューラルネットワークのトレーニングを誤解させる。 人間による注釈付きラベルのエラーは、タスクの難易度レベルに依存する可能性が高いことを示しています。
  論文  参考訳（メタデータ） (2020-12-22T06:36:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。