論文の概要: Unleashing the Potential of Regularization Strategies in Learning with Noisy Labels

• arxiv url: http://arxiv.org/abs/2307.05025v1
• Date: Tue, 11 Jul 2023 05:58:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-12 16:24:39.731893
• Title: Unleashing the Potential of Regularization Strategies in Learning with Noisy Labels
• Title（参考訳）: 雑音ラベル学習における正規化戦略の可能性
• Authors: Hui Kang, Sheng Liu, Huaxi Huang, Jun Yu, Bo Han, Dadong Wang, Tongliang Liu
• Abstract要約: クロスエントロピー損失を用いた単純なベースラインと、広く使われている正規化戦略を組み合わせることで、最先端の手法より優れていることを示す。 この結果から,正規化戦略の組み合わせは,ノイズラベルを用いた学習の課題に対処する上で,複雑なアルゴリズムよりも効果的であることが示唆された。
• 参考スコア（独自算出の注目度）: 65.92994348757743
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, research on learning with noisy labels has focused on devising novel algorithms that can achieve robustness to noisy training labels while generalizing to clean data. These algorithms often incorporate sophisticated techniques, such as noise modeling, label correction, and co-training. In this study, we demonstrate that a simple baseline using cross-entropy loss, combined with widely used regularization strategies like learning rate decay, model weights average, and data augmentations, can outperform state-of-the-art methods. Our findings suggest that employing a combination of regularization strategies can be more effective than intricate algorithms in tackling the challenges of learning with noisy labels. While some of these regularization strategies have been utilized in previous noisy label learning research, their full potential has not been thoroughly explored. Our results encourage a reevaluation of benchmarks for learning with noisy labels and prompt reconsideration of the role of specialized learning algorithms designed for training with noisy labels.
• Abstract（参考訳）: 近年,ノイズラベルを用いた学習の研究は,ノイズラベルに対する堅牢性を実現し,データのクリーン化を一般化する新しいアルゴリズムの開発に重点を置いている。 これらのアルゴリズムにはノイズモデリング、ラベル補正、コトレーニングといった高度な技術が組み込まれていることが多い。 本研究では,クロスエントロピー損失を用いた単純なベースラインと,学習速度の減衰,モデル重み付け平均,データ拡張といった広く使われる正規化戦略が組み合わさることで,最先端の手法よりも優れることを示す。 以上の結果から,規則化戦略の組み合わせは,ノイズラベルを用いた学習の課題に取り組むための複雑なアルゴリズムよりも効果的であることが示唆された。 これらの規則化戦略のいくつかは、これまでの騒がしいラベル学習研究で活用されてきたが、その潜在能力は十分に検討されていない。 本研究は,ノイズラベルを用いた学習のためのベンチマークの再評価と,ノイズラベルを用いた学習のための専門的学習アルゴリズムの役割の再検討を促す。

関連論文リスト

• DIRECT: Deep Active Learning under Imbalance and Label Noise [15.571923343398657]
  我々は,クラス不均衡とラベルノイズの両面において,アクティブラーニングの最初の研究を行う。 本稿では,クラス分離閾値を頑健に同定し,最も不確実な例を注釈する新しいアルゴリズムを提案する。 以上の結果から,DIRECTは最先端のアクティブ学習アルゴリズムと比較して,アノテーション予算の60%以上を節約できることが示された。
  論文  参考訳（メタデータ） (2023-12-14T18:18:34Z)
• ERASE: Error-Resilient Representation Learning on Graphs for Label Noise Tolerance [53.73316938815873]
  本稿では, ERASE (Error-Resilient representation learning on graphs for lAbel noiSe tolerancE) という手法を提案する。 ERASEは、プロトタイプの擬似ラベルとプロパゲーションされた識別ラベルを組み合わせて、表現をエラーレジリエンスで更新する。 提案手法は, 広い雑音レベルにおいて, 複数のベースラインをクリアマージンで上回り, 高いスケーラビリティを享受できる。
  論文  参考訳（メタデータ） (2023-12-13T17:59:07Z)
• Learning with Neighbor Consistency for Noisy Labels [69.83857578836769]
  特徴空間におけるトレーニング例間の類似性を利用した雑音ラベルから学習する手法を提案する。 合成(CIFAR-10, CIFAR-100)とリアル(mini-WebVision, Clothing1M, mini-ImageNet-Red)の両方のノイズを評価するデータセットの評価を行った。
  論文  参考訳（メタデータ） (2022-02-04T15:46:27Z)
• Robust Long-Tailed Learning under Label Noise [50.00837134041317]
  本研究では,長期ラベル分布におけるラベルノイズ問題について検討する。 本稿では,長期学習のための雑音検出を実現する頑健なフレームワークAlgoを提案する。 我々のフレームワークは、半教師付き学習アルゴリズムを自然に活用して一般化をさらに改善することができる。
  論文  参考訳（メタデータ） (2021-08-26T03:45:00Z)
• Tackling Instance-Dependent Label Noise via a Universal Probabilistic Model [80.91927573604438]
  本稿では,ノイズラベルをインスタンスに明示的に関連付ける,単純かつ普遍的な確率モデルを提案する。 合成および実世界のラベルノイズを用いたデータセット実験により,提案手法がロバスト性に大きな改善をもたらすことを確認した。
  論文  参考訳（メタデータ） (2021-01-14T05:43:51Z)
• A Survey on Deep Learning with Noisy Labels: How to train your model when you cannot trust on the annotations? [21.562089974755125]
  ノイズラベルの存在下でのディープラーニングモデルのトレーニングを改善するために,いくつかのアプローチが提案されている。 本稿では,ロバストな損失,サンプル重み付け,サンプル選択,メタラーニング,組み合わせアプローチの3つのグループでアルゴリズムを分類する。
  論文  参考訳（メタデータ） (2020-12-05T15:45:20Z)
• Semi-Supervised Learning with Meta-Gradient [123.26748223837802]
  半教師付き学習における簡単なメタ学習アルゴリズムを提案する。 その結果,提案アルゴリズムは最先端の手法に対して良好に動作することがわかった。
  論文  参考訳（メタデータ） (2020-07-08T08:48:56Z)
• Early-Learning Regularization Prevents Memorization of Noisy Labels [29.04549895470588]
  本稿では,ノイズの多いアノテーションの存在下で,ディープラーニングによる分類を行うための新しいフレームワークを提案する。 深層ニューラルネットワークは、"早期学習"フェーズにおいて、トレーニングデータをクリーンなラベルに適合させることが観察されている。 我々は、これらの目標に向けてモデルを操る正規化用語を設計し、偽ラベルの記憶を暗黙的に防止する。
  論文  参考訳（メタデータ） (2020-06-30T23:46:33Z)
• Noise-tolerant, Reliable Active Classification with Comparison Queries [25.725730509014355]
  本研究では,大規模なデータプールにアクセス可能なアルゴリズムが,どのサンプルにラベルを付けるかを適応的に選択できる,アクティブラーニングのパラダイムについて検討する。 本研究では,有界(マサート)雑音に頑健な非同次線形分離器を学習するためのアルゴリズムを初めて提案する。
  論文  参考訳（メタデータ） (2020-01-15T19:00:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。