論文の概要: Tackling Instance-Dependent Label Noise with Dynamic Distribution Calibration

• arxiv url: http://arxiv.org/abs/2210.05126v1
• Date: Tue, 11 Oct 2022 03:50:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-12 13:43:41.567052
• Title: Tackling Instance-Dependent Label Noise with Dynamic Distribution Calibration
• Title（参考訳）: 動的分布校正によるインスタンス依存ラベルノイズ対策
• Authors: Manyi Zhang, Yuxin Ren, Zihao Wang, Chun Yuan
• Abstract要約: インスタンスに依存したラベルノイズは現実的だが、ラベルの破損プロセスはインスタンスに直接依存する。 これは、トレーニングの分布とテストデータの間に深刻な分布シフトを引き起こし、訓練されたモデルの一般化を損なう。 本稿では,インスタンス依存ラベル雑音を用いた学習における分布変化に対処するために,動的分布校正戦略を採用する。
• 参考スコア（独自算出の注目度）: 18.59803726676361
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Instance-dependent label noise is realistic but rather challenging, where the label-corruption process depends on instances directly. It causes a severe distribution shift between the distributions of training and test data, which impairs the generalization of trained models. Prior works put great effort into tackling the issue. Unfortunately, these works always highly rely on strong assumptions or remain heuristic without theoretical guarantees. In this paper, to address the distribution shift in learning with instance-dependent label noise, a dynamic distribution-calibration strategy is adopted. Specifically, we hypothesize that, before training data are corrupted by label noise, each class conforms to a multivariate Gaussian distribution at the feature level. Label noise produces outliers to shift the Gaussian distribution. During training, to calibrate the shifted distribution, we propose two methods based on the mean and covariance of multivariate Gaussian distribution respectively. The mean-based method works in a recursive dimension-reduction manner for robust mean estimation, which is theoretically guaranteed to train a high-quality model against label noise. The covariance-based method works in a distribution disturbance manner, which is experimentally verified to improve the model robustness. We demonstrate the utility and effectiveness of our methods on datasets with synthetic label noise and real-world unknown noise.
• Abstract（参考訳）: インスタンスに依存したラベルノイズは現実的だが、ラベル破壊プロセスはインスタンスに直接依存する。 これは、トレーニングとテストデータの分布の間に厳しい分布変化を引き起こし、トレーニングされたモデルの一般化を妨げる。 以前の仕事はこの問題に取り組むのに多大な努力を払った。 残念ながら、これらの作品は常に強い仮定に頼り、理論的な保証なしにヒューリスティックなままである。 本稿では,インスタンス依存ラベル雑音を伴う学習における分布変化に対処するため,動的分布分割戦略を提案する。 具体的には,学習データがラベルノイズによって破壊される前に,各クラスは特徴レベルの多変量ガウス分布に従うことを仮定する。 ラベルノイズはガウス分布をシフトするために外れ値を生成する。 学習中にシフト分布を校正するために,多変量ガウス分布の平均と共分散に基づく2つの方法を提案する。 この平均に基づく手法は、理論上はラベルノイズに対して高品質なモデルを訓練することが保証されているロバスト平均推定のために再帰的な次元還元方式で動作する。 共分散に基づく手法は, モデルロバスト性を改善するために実験的に検証された分散乱れ方式で動作する。 合成ラベルノイズと実世界の未知雑音を含むデータセットに対して,本手法の有効性と有効性を示す。

関連論文リスト

• Inaccurate Label Distribution Learning with Dependency Noise [52.08553913094809]
  本稿では,依存雑音に基づく不正確なラベル分布学習(DN-ILDL)フレームワークを導入し,ラベル分布学習におけるノイズによる課題に対処する。 本稿では,DN-ILDLがILDL問題に効果的に対処し,既存のLCL法より優れていることを示す。
  論文  参考訳（メタデータ） (2024-05-26T07:58:07Z)
• Extracting Clean and Balanced Subset for Noisy Long-tailed Classification [66.47809135771698]
  そこで我々は,分布マッチングの観点から,クラスプロトタイプを用いた新しい擬似ラベリング手法を開発した。 手動で特定の確率尺度を設定することで、ノイズと長い尾を持つデータの副作用を同時に減らすことができる。 本手法は, クリーンなラベル付きクラスバランスサブセットを抽出し, ラベルノイズ付きロングテール分類において, 効果的な性能向上を実現する。
  論文  参考訳（メタデータ） (2024-04-10T07:34:37Z)
• Optimizing the Noise in Self-Supervised Learning: from Importance Sampling to Noise-Contrastive Estimation [80.07065346699005]
  GAN(Generative Adversarial Networks)のように、最適な雑音分布はデータ分布に等しくなると広く想定されている。 我々は、この自己教師型タスクをエネルギーベースモデルの推定問題として基礎づけるノイズ・コントラスト推定に目を向ける。 本研究は, 最適雑音のサンプリングは困難であり, 効率性の向上は, データに匹敵する雑音分布を選択することに比べ, 緩やかに行うことができると結論付けた。
  論文  参考訳（メタデータ） (2023-01-23T19:57:58Z)
• When Noisy Labels Meet Long Tail Dilemmas: A Representation Calibration Method [40.25499257944916]
  実世界のデータセットは騒々しくラベル付けされ、クラス不均衡である。 本稿では,表現キャリブレーション手法RCALを提案する。 我々は,表現キャリブレーションの有効性を論じるために理論的結果を得る。
  論文  参考訳（メタデータ） (2022-11-20T11:36:48Z)
• Combating Noisy Labels in Long-Tailed Image Classification [33.40963778043824]
  本稿では,長期分布とラベルノイズの両方を用いて,画像分類課題に早期に取り組む。 既存のノイズキャンバス学習手法では, ノイズの多いサンプルをテールクラスのクリーンなサンプルと区別することが難しいため, このシナリオでは機能しない。 本稿では,弱いデータと強いデータに対する推測の一致に基づく新しい学習パラダイムを提案し,ノイズのあるサンプルをスクリーニングする。
  論文  参考訳（メタデータ） (2022-09-01T07:31:03Z)
• The Optimal Noise in Noise-Contrastive Learning Is Not What You Think [80.07065346699005]
  この仮定から逸脱すると、実際により良い統計的推定結果が得られることが示される。 特に、最適な雑音分布は、データと異なり、また、別の家族からさえも異なる。
  論文  参考訳（メタデータ） (2022-03-02T13:59:20Z)
• Certifying Model Accuracy under Distribution Shifts [151.67113334248464]
  本稿では,データ分布の有界ワッサースタインシフトの下でのモデルの精度について,証明可能なロバスト性保証を提案する。 変換空間におけるモデルの入力をランダム化する単純な手順は、変換の下での分布シフトに対して確実に堅牢であることを示す。
  論文  参考訳（メタデータ） (2022-01-28T22:03:50Z)
• Ensemble Learning with Manifold-Based Data Splitting for Noisy Label Correction [20.401661156102897]
  トレーニングデータのノイズラベルは モデルの一般化性能を著しく低下させる 特徴多様体の局所構造を利用して雑音ラベルを補正するアンサンブル学習法を提案する。 実世界の雑音ラベルデータセットに関する実験では,提案手法が既存手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2021-03-13T07:24:58Z)
• Tackling Instance-Dependent Label Noise via a Universal Probabilistic Model [80.91927573604438]
  本稿では,ノイズラベルをインスタンスに明示的に関連付ける,単純かつ普遍的な確率モデルを提案する。 合成および実世界のラベルノイズを用いたデータセット実験により,提案手法がロバスト性に大きな改善をもたらすことを確認した。
  論文  参考訳（メタデータ） (2021-01-14T05:43:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。