論文の概要: Exponentiated Gradient Reweighting for Robust Training Under Label Noise and Beyond

• arxiv url: http://arxiv.org/abs/2104.01493v1
• Date: Sat, 3 Apr 2021 22:54:49 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-07 10:25:24.303744
• Title: Exponentiated Gradient Reweighting for Robust Training Under Label Noise and Beyond
• Title（参考訳）: ラベル雑音下でのロバストトレーニングのための拡張勾配重み付け
• Authors: Negin Majidi, Ehsan Amid, Hossein Talebi, and Manfred K. Warmuth
• Abstract要約: ノイズの多い例から学ぶための柔軟なアプローチを提案する。 具体的には、各トレーニング例を専門家として扱い、すべての例に分散を維持します。 他の関連する手法とは異なり、このアプローチは損失関数の一般的なクラスを扱い、幅広いノイズタイプやアプリケーションに適用できる。
• 参考スコア（独自算出の注目度）: 21.594200327544968
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many learning tasks in machine learning can be viewed as taking a gradient step towards minimizing the average loss of a batch of examples in each training iteration. When noise is prevalent in the data, this uniform treatment of examples can lead to overfitting to noisy examples with larger loss values and result in poor generalization. Inspired by the expert setting in on-line learning, we present a flexible approach to learning from noisy examples. Specifically, we treat each training example as an expert and maintain a distribution over all examples. We alternate between updating the parameters of the model using gradient descent and updating the example weights using the exponentiated gradient update. Unlike other related methods, our approach handles a general class of loss functions and can be applied to a wide range of noise types and applications. We show the efficacy of our approach for multiple learning settings, namely noisy principal component analysis and a variety of noisy classification problems.
• Abstract（参考訳）: 機械学習における多くの学習タスクは、各トレーニングイテレーションにおけるサンプルのバッチの平均損失を最小化するための勾配ステップをとることができる。 データにノイズが広まると、この一様な例の処理は、損失値が大きいノイズの例に過度に適合し、一般化が不十分になる可能性がある。 オンライン学習のエキスパート設定に触発されて,ノイズの多い事例から学ぶための柔軟なアプローチを提案する。 具体的には、各トレーニング例を専門家として扱い、すべての例に分散を維持します。 我々は,勾配降下を用いたモデルのパラメータの更新と,指数勾配更新を用いたサンプル重みの更新を交互に行う。 他の関連する手法とは異なり、このアプローチは損失関数の一般的なクラスを扱い、幅広いノイズタイプやアプリケーションに適用できる。 提案手法は,複数の学習環境,すなわち騒音の主成分分析と様々な雑音分類問題に対して有効であることを示す。

関連論文リスト

• Learning with Noisy Foundation Models [95.50968225050012]
  本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。 雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T16:22:41Z)
• Multiclass Learning from Noisy Labels for Non-decomposable Performance Measures [15.358504449550013]
  非分解性性能尺度の2つのクラスに対して雑音ラベルから学習するアルゴリズムを設計する。 どちらの場合も、広範に研究されているクラス条件雑音モデルの下で、アルゴリズムのノイズ補正バージョンを開発する。 実験では,ラベルノイズ処理におけるアルゴリズムの有効性を実証した。
  論文  参考訳（メタデータ） (2024-02-01T23:03:53Z)
• Late Stopping: Avoiding Confidently Learning from Mislabeled Examples [61.00103151680946]
  そこで本研究では,DNNの長期学習プロセスを通じて,本質的な頑健な学習能力を生かした新しいフレームワークであるLatlas Stoppingを提案する。 誤ラベルとクリーンな例は、それらが一貫して正しく分類されるために必要なエポックの数に相違があることを実証的に観察する。 ベンチマークシミュレーションと実世界のノイズデータセットによる実験結果から,提案手法は最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-08-26T12:43:25Z)
• Intra-class Adaptive Augmentation with Neighbor Correction for Deep Metric Learning [99.14132861655223]
  深層学習のためのクラス内適応拡張(IAA)フレームワークを提案する。 クラスごとのクラス内変動を合理的に推定し, 適応型合成試料を生成し, 硬質試料の採掘を支援する。 本手法は,検索性能の最先端手法を3%～6%向上させる。
  論文  参考訳（メタデータ） (2022-11-29T14:52:38Z)
• The Dynamic of Consensus in Deep Networks and the Identification of Noisy Labels [5.28539620288341]
  ノイズラベルは トレーニングの終わりまでに きれいな例とは区別できない 最近の研究では、ディープネットワークがノイズの多い例よりもずっと早くサンプルを記憶しているように見えるという事実を活用して、この問題に対処している。 我々は,この観測結果を用いて,ノイズラベル濾過の新しい手法を開発した。
  論文  参考訳（メタデータ） (2022-10-02T17:47:23Z)
• CMW-Net: Learning a Class-Aware Sample Weighting Mapping for Robust Deep Learning [55.733193075728096]
  現代のディープニューラルネットワークは、破損したラベルやクラス不均衡を含むバイアス付きトレーニングデータに容易に適合する。 サンプル再重み付け手法は、このデータバイアス問題を緩和するために一般的に使用されている。 本稿では,データから直接明示的な重み付け方式を適応的に学習できるメタモデルを提案する。
  論文  参考訳（メタデータ） (2022-02-11T13:49:51Z)
• Learning with Neighbor Consistency for Noisy Labels [69.83857578836769]
  特徴空間におけるトレーニング例間の類似性を利用した雑音ラベルから学習する手法を提案する。 合成(CIFAR-10, CIFAR-100)とリアル(mini-WebVision, Clothing1M, mini-ImageNet-Red)の両方のノイズを評価するデータセットの評価を行った。
  論文  参考訳（メタデータ） (2022-02-04T15:46:27Z)
• Perlin Noise Improve Adversarial Robustness [9.084544535198509]
  敵対的な例は、ディープニューラルネットワークの出力を摂動できる特別な入力である。 逆例を生成する方法の多くは勾配情報を必要とする。 手続き的雑音対向例は、新しい対向例生成方法である。
  論文  参考訳（メタデータ） (2021-12-26T15:58:28Z)
• When does loss-based prioritization fail? [18.982933391138268]
  ノイズや破損したデータのあるシナリオでは,損失に基づく加速度法が劣化することを示す。 例題の難易度は、ノイズを他のタイプの難易度例から正しく分離する必要がある。
  論文  参考訳（メタデータ） (2021-07-16T07:23:15Z)
• Graph Learning with Loss-Guided Training [16.815638149823744]
  sc DeepWalkの先駆的なノード埋め込み手法の新たな領域において、損失誘導型トレーニングについて検討する。 データセットの豊富なコレクションに対する実験的な評価は,総合的なトレーニングと総合計算の両面で,ベースライン静的メソッドよりも大幅に加速されたことを示す。
  論文  参考訳（メタデータ） (2020-05-31T08:03:06Z)
• Robust and On-the-fly Dataset Denoising for Image Classification [72.10311040730815]
  On-the-fly Data Denoising (ODD)は、間違ったラベルの例に対して堅牢だが、通常のトレーニングと比べて計算オーバーヘッドはほぼゼロである。 ODDはWebVisionやClothing1Mといった現実世界のデータセットを含む、幅広いデータセットで最先端の結果を達成することができる。
  論文  参考訳（メタデータ） (2020-03-24T03:59:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。