論文の概要: Self-Adaptive Training: beyond Empirical Risk Minimization

• arxiv url: http://arxiv.org/abs/2002.10319v2
• Date: Wed, 30 Sep 2020 09:14:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-29 02:43:47.492730
• Title: Self-Adaptive Training: beyond Empirical Risk Minimization
• Title（参考訳）: 自己適応型トレーニング:経験的リスク最小化を超えて
• Authors: Lang Huang, Chao Zhang, Hongyang Zhang
• Abstract要約: 余分な計算コストを伴わずにモデル予測により問題ラベルを動的に補正する新しいトレーニングアルゴリズムを提案する。 自己適応型トレーニングは、様々なレベルのノイズに対する一般化を著しく改善し、自然と敵対両方のトレーニングにおいて過度に適合する問題を緩和する。 CIFARとImageNetデータセットの実験は、我々のアプローチの有効性を2つのアプリケーションで検証する。
• 参考スコア（独自算出の注目度）: 15.59721834388181
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose self-adaptive training---a new training algorithm that dynamically corrects problematic training labels by model predictions without incurring extra computational cost---to improve generalization of deep learning for potentially corrupted training data. This problem is crucial towards robustly learning from data that are corrupted by, e.g., label noises and out-of-distribution samples. The standard empirical risk minimization (ERM) for such data, however, may easily overfit noises and thus suffers from sub-optimal performance. In this paper, we observe that model predictions can substantially benefit the training process: self-adaptive training significantly improves generalization over ERM under various levels of noises, and mitigates the overfitting issue in both natural and adversarial training. We evaluate the error-capacity curve of self-adaptive training: the test error is monotonously decreasing w.r.t. model capacity. This is in sharp contrast to the recently-discovered double-descent phenomenon in ERM which might be a result of overfitting of noises. Experiments on CIFAR and ImageNet datasets verify the effectiveness of our approach in two applications: classification with label noise and selective classification. We release our code at https://github.com/LayneH/self-adaptive-training.
• Abstract（参考訳）: 計算コストを伴わずにモデル予測によって問題のあるトレーニングラベルを動的に修正する学習アルゴリズムを提案する。 この問題は、ラベルノイズや分散サンプルによって破損したデータから堅牢に学習する上で重要である。 しかし、そのようなデータに対する標準的な経験的リスク最小化(ERM)は、ノイズを過度に過小評価し、したがって準最適性能を損なう可能性がある。 本稿では,モデル予測がトレーニングプロセスに有効であることを示す。自己適応型トレーニングは,様々なノイズレベル下でのERMの一般化を著しく改善し,自然と敵の両方のトレーニングにおいて過度に適合する問題を緩和する。 自己適応訓練の誤り容量曲線を評価する: テスト誤差は一律にw.r.t.モデル容量を減少させる。 これは、最近発見されたEMMの二重発振現象とは対照的であり、これはノイズの過度な収差の結果かもしれない。 CIFARとImageNetデータセットを用いた実験により,ラベルノイズを用いた分類と選択的分類の2つの手法によるアプローチの有効性が検証された。 コードをhttps://github.com/LayneH/self-adaptive-trainingでリリースしています。

関連論文リスト

• S$^2$R: Teaching LLMs to Self-verify and Self-correct via Reinforcement Learning [51.84977135926156]
  S$2$Rはモデルに推論時の自己検証と自己正当性を教えることによってLLM推論を強化する効率的なフレームワークである。 以上の結果から,Qwen2.5-math-7Bの精度は51.0%から81.6%に向上した。
  論文  参考訳（メタデータ） (2025-02-18T13:40:22Z)
• What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
  モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。 モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
  論文  参考訳（メタデータ） (2024-11-12T09:52:40Z)
• Learning with Noisy Foundation Models [95.50968225050012]
  本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。 雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T16:22:41Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Understanding and Mitigating the Label Noise in Pre-training on Downstream Tasks [91.15120211190519]
  本稿では、事前学習データセットにおけるノイズの性質を理解し、下流タスクへの影響を軽減することを目的とする。 雑音の悪影響を軽減するために特徴空間に適応する軽量ブラックボックスチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2023-09-29T06:18:15Z)
• Omnipotent Adversarial Training in the Wild [20.239704959690936]
  我々は、不均衡でノイズの多いデータセット上でモデルをトレーニングするためのOmniversapotent Adrial Training (OAT)戦略を提案する。 OATはトレーニングセットの不完全性に対処する2つの革新的な方法論で構成されている。 OATは他のベースラインを20%以上のクリーンな精度改善と10%の堅牢な精度改善で上回る。
  論文  参考訳（メタデータ） (2023-07-14T07:09:57Z)
• One-Pixel Shortcut: on the Learning Preference of Deep Neural Networks [28.502489028888608]
  Unlearnable Example (ULE) は、DNNのトレーニングのための不正使用からデータを保護することを目的としている。 逆行訓練では、誤り最小化ノイズの非学習性は著しく低下する。 本稿では,各画像の1ピクセルのみを摂動させ,データセットを学習不能にする,新しいモデルフリー手法であるemphOne-Pixel Shortcutを提案する。
  論文  参考訳（メタデータ） (2022-05-24T15:17:52Z)
• Self-Damaging Contrastive Learning [92.34124578823977]
  ラベルのないデータは一般に不均衡であり、長い尾の分布を示す。 本稿では,クラスを知らずに表現学習を自動的にバランスをとるための,自己学習コントラスト学習という原則的枠組みを提案する。 実験の結果,SDCLRは全体としての精度だけでなく,バランス性も著しく向上することがわかった。
  論文  参考訳（メタデータ） (2021-06-06T00:04:49Z)
• Self-Adaptive Training: Bridging the Supervised and Self-Supervised Learning [16.765461276790944]
  自己適応型トレーニングは、追加の計算コストを課すことなく、モデル予測によってトレーニングプロセスを動的にキャリブレーションし、強化する統一型トレーニングアルゴリズムです。 ランダムノイズや敵対的な例など、破損したトレーニングデータの深層ネットワークのトレーニングダイナミクスを分析します。 分析の結果, モデル予測はデータ中の有用な情報量を拡大することが可能であり, 強調ラベル情報がない場合にも広く発生することがわかった。
  論文  参考訳（メタデータ） (2021-01-21T17:17:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。