論文の概要: Reevaluating Loss Functions: Enhancing Robustness to Label Noise in Deep
Learning Models
- arxiv url: http://arxiv.org/abs/2306.05497v1
- Date: Thu, 8 Jun 2023 18:38:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-12 15:44:33.230219
- Title: Reevaluating Loss Functions: Enhancing Robustness to Label Noise in Deep
Learning Models
- Title(参考訳): 損失関数の再評価:ディープラーニングモデルにおけるラベルノイズに対するロバスト性向上
- Authors: Max Staats, Matthias Thamm, Bernd Rosenow
- Abstract要約: 大きな注釈付きデータセットには、必然的に誤ったラベルが含まれているため、ディープニューラルネットワークのトレーニングには大きな課題となる。
ノイズロバストモデルを作成するための単純で効果的な方法は、ノイズロバスト損失関数を使用することである。
提案する損失関数が適用可能な状況について検討し,適切な損失を選択する方法について提案する。
これは、有界損失の学習を著しく改善するだけでなく、Cifar-100データセットにおけるクロスエントロピー損失よりも優れた平均絶対誤差の損失をもたらす。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large annotated datasets inevitably contain incorrect labels, which poses a
major challenge for the training of deep neural networks as they easily fit the
labels. Only when training with a robust model that is not easily distracted by
the noise, a good generalization performance can be achieved. A simple yet
effective way to create a noise robust model is to use a noise robust loss
function. However, the number of proposed loss functions is large, they often
come with hyperparameters, and may learn slower than the widely used but noise
sensitive Cross Entropy loss. By heuristic considerations and extensive
numerical experiments, we study in which situations the proposed loss functions
are applicable and give suggestions on how to choose an appropriate loss.
Additionally, we propose a novel technique to enhance learning with bounded
loss functions: the inclusion of an output bias, i.e. a slight increase in the
neuron pre-activation corresponding to the correct label. Surprisingly, we find
that this not only significantly improves the learning of bounded losses, but
also leads to the Mean Absolute Error loss outperforming the Cross Entropy loss
on the Cifar-100 dataset - even in the absence of additional label noise. This
suggests that training with a bounded loss function can be advantageous even in
the presence of minimal label noise. To further strengthen our analysis of the
learning behavior of different loss functions, we additionally design and test
a novel loss function denoted as Bounded Cross Entropy.
- Abstract(参考訳): 大きな注釈付きデータセットには必然的に誤ったラベルが含まれているため、ラベルに適合する深層ニューラルネットワークのトレーニングには大きな課題がある。
ノイズに容易に気を取られないロバストなモデルでトレーニングする場合のみ、優れた一般化性能を実現することができる。
ノイズロバストモデルを作成する単純な方法は、ノイズロバスト損失関数を使用することである。
しかし、提案された損失関数の数は大きく、しばしばハイパーパラメータを持ち、広く使われているがノイズに敏感なクロスエントロピー損失よりも学習が遅い。
ヒューリスティックな考察と広範な数値実験により,提案する損失関数が適用可能な状況について検討し,適切な損失を選択する方法を提案する。
さらに, 有界損失関数を用いた学習を強化する新しい手法を提案する。すなわち, 出力バイアスの包含, すなわち, 正しいラベルに対応するニューロン前活性化のわずかな増加である。
驚くべきことに、これは境界付き損失の学習を大幅に改善するだけでなく、追加のラベルノイズがない場合でも、cifar-100データセットのクロスエントロピー損失に匹敵する平均的な絶対エラー損失をもたらす。
これは、最小ラベルノイズが存在する場合でも、有界損失関数を持つトレーニングは有利であることを示唆している。
異なる損失関数の学習行動の分析をさらに強化するため,境界クロスエントロピー(Bunded Cross Entropy)と呼ばれる新しい損失関数を設計・テストする。
関連論文リスト
- Robust Loss Functions for Training Decision Trees with Noisy Labels [4.795403008763752]
我々は、頑健な学習アルゴリズムに繋がる損失関数に着目し、ノイズの多いラベル付きデータを用いて決定木を訓練することを検討する。
まず、決定木学習の文脈において、既存の損失関数のロバスト性に関する新しい理論的知見を提供する。
第2に,分散損失と呼ばれるロバストな損失関数を構築するためのフレームワークを導入する。
論文 参考訳(メタデータ) (2023-12-20T11:27:46Z) - ERASE: Error-Resilient Representation Learning on Graphs for Label Noise
Tolerance [53.73316938815873]
本稿では, ERASE (Error-Resilient representation learning on graphs for lAbel noiSe tolerancE) という手法を提案する。
ERASEは、プロトタイプの擬似ラベルとプロパゲーションされた識別ラベルを組み合わせて、表現をエラーレジリエンスで更新する。
提案手法は, 広い雑音レベルにおいて, 複数のベースラインをクリアマージンで上回り, 高いスケーラビリティを享受できる。
論文 参考訳(メタデータ) (2023-12-13T17:59:07Z) - Alternate Loss Functions for Classification and Robust Regression Can
Improve the Accuracy of Artificial Neural Networks [7.5620539044013535]
本稿では,ニューラルネットワークのトレーニング速度と最終的な精度が,ニューラルネットワークのトレーニングに使用する損失関数に大きく依存することを示す。
様々なベンチマークタスクの性能を著しく向上させる2つの新しい分類損失関数を提案する。
論文 参考訳(メタデータ) (2023-03-17T12:52:06Z) - Xtreme Margin: A Tunable Loss Function for Binary Classification
Problems [0.0]
本稿では,新しい損失関数 Xtreme Margin の損失関数について概説する。
二進的クロスエントロピーやヒンジ損失関数とは異なり、この損失関数は研究者や実践者がトレーニングプロセスに柔軟性をもたらす。
論文 参考訳(メタデータ) (2022-10-31T22:39:32Z) - The Fisher-Rao Loss for Learning under Label Noise [9.238700679836855]
離散分布の統計多様体におけるフィッシャー・ラオ距離から生じるフィッシャー・ラオ損失関数について検討する。
ラベルノイズの存在下での性能劣化の上限を導出し,この損失の学習速度を解析する。
論文 参考訳(メタデータ) (2022-10-28T20:50:10Z) - Prototype-Anchored Learning for Learning with Imperfect Annotations [83.7763875464011]
不完全な注釈付きデータセットからバイアスのない分類モデルを学ぶことは困難である。
本稿では,様々な学習に基づく分類手法に容易に組み込むことができるプロトタイプ・アンコレッド学習法を提案する。
我々は,PALがクラス不均衡学習および耐雑音学習に与える影響を,合成および実世界のデータセットに関する広範な実験により検証した。
論文 参考訳(メタデータ) (2022-06-23T10:25:37Z) - Do We Need to Penalize Variance of Losses for Learning with Label Noise? [91.38888889609002]
ノイズラベルを用いた学習では,差分を増大させる必要がある。
ラベルノイズ遷移行列を利用することで、正規化器は損失の分散を低減することができる。
実験的に,損失の分散を増大させることにより,合成データセットと実世界のデータセットのベースラインの一般化能力を大幅に向上させる。
論文 参考訳(メタデータ) (2022-01-30T06:19:08Z) - Asymmetric Loss Functions for Learning with Noisy Labels [82.50250230688388]
そこで本研究では,様々なノイズに対する雑音ラベルによる学習に頑健な,新しい損失関数,すなわちテクスティタ対称損失関数を提案する。
ベンチマークデータセットの実験結果は、非対称損失関数が最先端の手法より優れていることを示した。
論文 参考訳(メタデータ) (2021-06-06T12:52:48Z) - Searching for Robustness: Loss Learning for Noisy Classification Tasks [81.70914107917551]
テイラーを用いたフレキシブルな損失関数群をパラメタライズし、この空間におけるノイズロスの探索に進化的戦略を適用する。
その結果、ホワイトボックスの損失は、さまざまな下流タスクで効果的なノイズロバスト学習を可能にするシンプルで高速な「プラグアンドプレイ」モジュールを提供します。
論文 参考訳(メタデータ) (2021-02-27T15:27:22Z) - Normalized Loss Functions for Deep Learning with Noisy Labels [39.32101898670049]
一般的に使用されているCross Entropy(CE)損失は,ノイズラベルに対して堅牢ではないことを示す。
アクティブ・パッシブ・ロス(APL)と呼ばれるロバストな損失関数を構築するためのフレームワークを提案する。
論文 参考訳(メタデータ) (2020-06-24T08:25:46Z) - Learning Not to Learn in the Presence of Noisy Labels [104.7655376309784]
ギャンブラーの損失と呼ばれる新しい種類の損失関数は、様々なレベルの汚職にまたがってノイズをラベル付けするのに強い堅牢性をもたらすことを示す。
この損失関数によるトレーニングは、ノイズのあるラベルを持つデータポイントでの学習を"維持"することをモデルに促すことを示す。
論文 参考訳(メタデータ) (2020-02-16T09:12:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。