論文の概要: Normalized Loss Functions for Deep Learning with Noisy Labels

• arxiv url: http://arxiv.org/abs/2006.13554v1
• Date: Wed, 24 Jun 2020 08:25:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-17 09:06:05.301361
• Title: Normalized Loss Functions for Deep Learning with Noisy Labels
• Title（参考訳）: 雑音ラベルを用いたディープラーニングにおける正規化損失関数
• Authors: Xingjun Ma, Hanxun Huang, Yisen Wang, Simone Romano, Sarah Erfani, James Bailey
• Abstract要約: 一般的に使用されているCross Entropy(CE)損失は,ノイズラベルに対して堅牢ではないことを示す。 アクティブ・パッシブ・ロス(APL)と呼ばれるロバストな損失関数を構築するためのフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 39.32101898670049
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Robust loss functions are essential for training accurate deep neural networks (DNNs) in the presence of noisy (incorrect) labels. It has been shown that the commonly used Cross Entropy (CE) loss is not robust to noisy labels. Whilst new loss functions have been designed, they are only partially robust. In this paper, we theoretically show by applying a simple normalization that: any loss can be made robust to noisy labels. However, in practice, simply being robust is not sufficient for a loss function to train accurate DNNs. By investigating several robust loss functions, we find that they suffer from a problem of underfitting. To address this, we propose a framework to build robust loss functions called Active Passive Loss (APL). APL combines two robust loss functions that mutually boost each other. Experiments on benchmark datasets demonstrate that the family of new loss functions created by our APL framework can consistently outperform state-of-the-art methods by large margins, especially under large noise rates such as 60% or 80% incorrect labels.
• Abstract（参考訳）: ノイズ(誤った)ラベルが存在する場合、ロバスト損失関数は正確なディープニューラルネットワーク(DNN)を訓練するために必須である。 一般に使われるクロスエントロピー(ce)損失はノイズラベルに対して頑健ではないことが示されている。 新しい損失関数は設計されているが、部分的に堅牢である。 本稿では,単純な正規化を適用すれば,任意の損失を雑音ラベルに対して頑健にすることができることを示す。 しかし、実際には、単に堅牢であるだけでは、正確なDNNを訓練する損失関数には不十分である。 いくつかのロバストな損失関数を調べることで、不適合の問題に悩まされていることがわかった。 これを解決するために,Active Passive Loss (APL)と呼ばれるロバストな損失関数を構築するフレームワークを提案する。 aplは互いに強化する2つのロバストな損失関数を結合する。 ベンチマークデータセットの実験では、APLフレームワークが生成した新しい損失関数のファミリーは、特に60%や80%の不正ラベルのような大きなノイズ率の下で、最先端のメソッドを大きなマージンで一貫して上回ります。

関連論文リスト

• Robust Loss Functions for Training Decision Trees with Noisy Labels [4.795403008763752]
  我々は、頑健な学習アルゴリズムに繋がる損失関数に着目し、ノイズの多いラベル付きデータを用いて決定木を訓練することを検討する。 まず、決定木学習の文脈において、既存の損失関数のロバスト性に関する新しい理論的知見を提供する。 第2に,分散損失と呼ばれるロバストな損失関数を構築するためのフレームワークを導入する。
  論文  参考訳（メタデータ） (2023-12-20T11:27:46Z)
• Noise-Robust Loss Functions: Enhancing Bounded Losses for Large-Scale Noisy Data Learning [0.0]
  大きな注釈付きデータセットには、必然的にノイズのあるラベルが含まれており、ラベルを覚えやすいようにディープニューラルネットワークをトレーニングする上で大きな課題となる。 ノイズ・ロバスト損失関数はこの問題に対処するための重要な戦略として現れてきたが、過度に適合しないロバスト損失関数を作成することは依然として困難である。 本稿では,ロジットバイアス(logit bias)と表される新しい手法を提案し,ロジットに正しいクラスの位置で実数$epsilon$を付加する。
  論文  参考訳（メタデータ） (2023-06-08T18:38:55Z)
• Robust T-Loss for Medical Image Segmentation [56.524774292536264]
  本稿では,医用画像分割のための新しいロバストな損失関数T-Lossを提案する。 提案した損失は、Student-t分布の負のログ類似度に基づいており、データ内の外れ値の処理を効果的に行うことができる。 実験の結果,T-Lossは2つの医療データセットのダイススコアにおいて従来の損失関数よりも優れていた。
  論文  参考訳（メタデータ） (2023-06-01T14:49:40Z)
• Dynamics-Aware Loss for Learning with Label Noise [73.75129479936302]
  ディープニューラルネットワーク(DNN)にラベルノイズが深刻な脅威をもたらす 本稿では,この問題を解決するためにDAL(Dynamics-Aware Los)を提案する。 詳細な理論的解析と広範な実験結果の両方が,本手法の優位性を示している。
  論文  参考訳（メタデータ） (2023-03-21T03:05:21Z)
• Alternate Loss Functions for Classification and Robust Regression Can Improve the Accuracy of Artificial Neural Networks [6.452225158891343]
  本稿では,ニューラルネットワークのトレーニング速度と最終的な精度が,ニューラルネットワークのトレーニングに使用する損失関数に大きく依存することを示す。 様々なベンチマークタスクの性能を著しく向上させる2つの新しい分類損失関数を提案する。
  論文  参考訳（メタデータ） (2023-03-17T12:52:06Z)
• The Fisher-Rao Loss for Learning under Label Noise [9.238700679836855]
  離散分布の統計多様体におけるフィッシャー・ラオ距離から生じるフィッシャー・ラオ損失関数について検討する。 ラベルノイズの存在下での性能劣化の上限を導出し,この損失の学習速度を解析する。
  論文  参考訳（メタデータ） (2022-10-28T20:50:10Z)
• Do We Need to Penalize Variance of Losses for Learning with Label Noise? [91.38888889609002]
  ノイズラベルを用いた学習では,差分を増大させる必要がある。 ラベルノイズ遷移行列を利用することで、正規化器は損失の分散を低減することができる。 実験的に,損失の分散を増大させることにより,合成データセットと実世界のデータセットのベースラインの一般化能力を大幅に向上させる。
  論文  参考訳（メタデータ） (2022-01-30T06:19:08Z)
• Learning with Noisy Labels via Sparse Regularization [76.31104997491695]
  ノイズの多いラベルで学習することは、正確なディープニューラルネットワークをトレーニングするための重要なタスクである。 クロスエントロピー(Cross Entropy, CE)など、一般的に使われている損失関数は、ノイズラベルへの過度なオーバーフィットに悩まされている。 我々は, スパース正規化戦略を導入し, ワンホット制約を近似する。
  論文  参考訳（メタデータ） (2021-07-31T09:40:23Z)
• Asymmetric Loss Functions for Learning with Noisy Labels [82.50250230688388]
  そこで本研究では,様々なノイズに対する雑音ラベルによる学習に頑健な,新しい損失関数,すなわちテクスティタ対称損失関数を提案する。 ベンチマークデータセットの実験結果は、非対称損失関数が最先端の手法より優れていることを示した。
  論文  参考訳（メタデータ） (2021-06-06T12:52:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。