論文の概要: Regularly Truncated M-estimators for Learning with Noisy Labels

• arxiv url: http://arxiv.org/abs/2309.00894v1
• Date: Sat, 2 Sep 2023 10:22:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-07 00:25:25.238056
• Title: Regularly Truncated M-estimators for Learning with Noisy Labels
• Title（参考訳）: 雑音ラベル学習のためのm-エスティメータの規則的廃止
• Authors: Xiaobo Xia, Pengqian Lu, Chen Gong, Bo Han, Jun Yu, Jun Yu, Tongliang Liu
• Abstract要約: 本稿では,上記の2つの問題に同時に対処するために,RTME (Trruncated M-estimator) を提案する。 具体的には、RTMEは、切り離されたM推定器とオリジナルのM推定器の間でモードを交互に切り替えることができる。 当社の戦略がラベルノイズ耐性であることを実証します。
• 参考スコア（独自算出の注目度）: 79.36560434324586
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The sample selection approach is very popular in learning with noisy labels. As deep networks learn pattern first, prior methods built on sample selection share a similar training procedure: the small-loss examples can be regarded as clean examples and used for helping generalization, while the large-loss examples are treated as mislabeled ones and excluded from network parameter updates. However, such a procedure is arguably debatable from two folds: (a) it does not consider the bad influence of noisy labels in selected small-loss examples; (b) it does not make good use of the discarded large-loss examples, which may be clean or have meaningful information for generalization. In this paper, we propose regularly truncated M-estimators (RTME) to address the above two issues simultaneously. Specifically, RTME can alternately switch modes between truncated M-estimators and original M-estimators. The former can adaptively select small-losses examples without knowing the noise rate and reduce the side-effects of noisy labels in them. The latter makes the possibly clean examples but with large losses involved to help generalization. Theoretically, we demonstrate that our strategies are label-noise-tolerant. Empirically, comprehensive experimental results show that our method can outperform multiple baselines and is robust to broad noise types and levels.
• Abstract（参考訳）: サンプル選択アプローチは、ノイズラベルによる学習で非常に人気がある。 ディープ・ネットワークがパターンを学習する際、サンプル選択に基づいて構築された事前の手法は、類似したトレーニング手順を共有している: 小さいロスの例はクリーンな例と見なすことができ、一般化を助けるのに使うことができる。 しかし、そのような手続きはおそらく2つの折りたたみから議論できる。 (a)選択された小規模事例において、ノイズラベルの悪影響を考慮しない。 (b)廃棄された大失われた例をうまく利用せず、クリーンであるか、一般化に意味のある情報を持っている。 本稿では,これら2つの問題を同時に扱うために,RTME (Trruncated M-estimator) を提案する。 具体的には、RTMEは、切り離されたM推定器とオリジナルのM推定器の間でモードを交互に切り替えることができる。 前者はノイズ率を知らずに小さな損失例を適応的に選択でき、ノイズラベルの副作用を低減できる。 後者は、おそらくクリーンな例だが、一般化を助けるために大きな損失が伴う。 理論的には、我々の戦略はラベルノイズ耐性である。 実験的な実験結果から,本手法は複数のベースラインを上回り,幅広いノイズタイプやレベルに対して堅牢であることが示された。

関連論文リスト

• Late Stopping: Avoiding Confidently Learning from Mislabeled Examples [61.00103151680946]
  そこで本研究では,DNNの長期学習プロセスを通じて,本質的な頑健な学習能力を生かした新しいフレームワークであるLatlas Stoppingを提案する。 誤ラベルとクリーンな例は、それらが一貫して正しく分類されるために必要なエポックの数に相違があることを実証的に観察する。 ベンチマークシミュレーションと実世界のノイズデータセットによる実験結果から,提案手法は最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-08-26T12:43:25Z)
• SLaM: Student-Label Mixing for Distillation with Unlabeled Examples [15.825078347452024]
  学生ラベル混合(SLaM)と呼ばれる未ラベル例を用いた知識蒸留の原理的手法を提案する。 SLaMは、いくつかの標準ベンチマークで評価することで、従来のアプローチよりも一貫して改善されている。 ランダムな分類雑音下でハーフスペースを学習する際の最もよく知られたサンプル複雑性を改善するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-08T00:14:44Z)
• Centrality and Consistency: Two-Stage Clean Samples Identification for Learning with Instance-Dependent Noisy Labels [87.48541631675889]
  本稿では,2段階のクリーンサンプル識別手法を提案する。 まず,クリーンサンプルの早期同定にクラスレベルの特徴クラスタリング手法を用いる。 次に, 基底真理クラス境界に近い残余のクリーンサンプルについて, 一貫性に基づく新しい分類法を提案する。
  論文  参考訳（メタデータ） (2022-07-29T04:54:57Z)
• Dash: Semi-Supervised Learning with Dynamic Thresholding [72.74339790209531]
  我々は、ラベルのない例を使ってモデルをトレーニングする半教師付き学習(SSL)アプローチを提案する。 提案手法であるDashは、ラベルなしデータ選択の観点から適応性を享受する。
  論文  参考訳（メタデータ） (2021-09-01T23:52:29Z)
• Jo-SRC: A Contrastive Approach for Combating Noisy Labels [58.867237220886885]
  Jo-SRC (Joint Sample Selection and Model Regularization based on Consistency) というノイズロバスト手法を提案する。 具体的には、対照的な学習方法でネットワークをトレーニングする。 各サンプルの2つの異なるビューからの予測は、クリーンまたは分布不足の「可能性」を推定するために使用されます。
  論文  参考訳（メタデータ） (2021-03-24T07:26:07Z)
• Importance Reweighting for Biquality Learning [0.0]
  本稿では,弱視学習のオリジナル,包括的視点を提案する。 その結果、あらゆる種類のラベルノイズに対処できる汎用的なアプローチが考案された。 本稿では、信頼できないデータセットの非破壊例を識別できる新しい再検討手法を提案する。
  論文  参考訳（メタデータ） (2020-10-19T15:59:56Z)
• Robust and On-the-fly Dataset Denoising for Image Classification [72.10311040730815]
  On-the-fly Data Denoising (ODD)は、間違ったラベルの例に対して堅牢だが、通常のトレーニングと比べて計算オーバーヘッドはほぼゼロである。 ODDはWebVisionやClothing1Mといった現実世界のデータセットを含む、幅広いデータセットで最先端の結果を達成することができる。
  論文  参考訳（メタデータ） (2020-03-24T03:59:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。