論文の概要: Reevaluating Loss Functions: Enhancing Robustness to Label Noise in Deep
Learning Models
- arxiv url: http://arxiv.org/abs/2306.05497v1
- Date: Thu, 8 Jun 2023 18:38:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-12 15:44:33.230219
- Title: Reevaluating Loss Functions: Enhancing Robustness to Label Noise in Deep
Learning Models
- Title（参考訳）: 損失関数の再評価:ディープラーニングモデルにおけるラベルノイズに対するロバスト性向上
- Authors: Max Staats, Matthias Thamm, Bernd Rosenow
- Abstract要約: 大きな注釈付きデータセットには、必然的に誤ったラベルが含まれているため、ディープニューラルネットワークのトレーニングには大きな課題となる。
ノイズロバストモデルを作成するための単純で効果的な方法は、ノイズロバスト損失関数を使用することである。
提案する損失関数が適用可能な状況について検討し,適切な損失を選択する方法について提案する。
これは、有界損失の学習を著しく改善するだけでなく、Cifar-100データセットにおけるクロスエントロピー損失よりも優れた平均絶対誤差の損失をもたらす。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large annotated datasets inevitably contain incorrect labels, which poses a
major challenge for the training of deep neural networks as they easily fit the
labels. Only when training with a robust model that is not easily distracted by
the noise, a good generalization performance can be achieved. A simple yet
effective way to create a noise robust model is to use a noise robust loss
function. However, the number of proposed loss functions is large, they often
come with hyperparameters, and may learn slower than the widely used but noise
sensitive Cross Entropy loss. By heuristic considerations and extensive
numerical experiments, we study in which situations the proposed loss functions
are applicable and give suggestions on how to choose an appropriate loss.
Additionally, we propose a novel technique to enhance learning with bounded
loss functions: the inclusion of an output bias, i.e. a slight increase in the
neuron pre-activation corresponding to the correct label. Surprisingly, we find
that this not only significantly improves the learning of bounded losses, but
also leads to the Mean Absolute Error loss outperforming the Cross Entropy loss
on the Cifar-100 dataset - even in the absence of additional label noise. This
suggests that training with a bounded loss function can be advantageous even in
the presence of minimal label noise. To further strengthen our analysis of the
learning behavior of different loss functions, we additionally design and test
a novel loss function denoted as Bounded Cross Entropy.
- Abstract（参考訳）: 大きな注釈付きデータセットには必然的に誤ったラベルが含まれているため、ラベルに適合する深層ニューラルネットワークのトレーニングには大きな課題がある。
ノイズに容易に気を取られないロバストなモデルでトレーニングする場合のみ、優れた一般化性能を実現することができる。
ノイズロバストモデルを作成する単純な方法は、ノイズロバスト損失関数を使用することである。
しかし、提案された損失関数の数は大きく、しばしばハイパーパラメータを持ち、広く使われているがノイズに敏感なクロスエントロピー損失よりも学習が遅い。
ヒューリスティックな考察と広範な数値実験により,提案する損失関数が適用可能な状況について検討し,適切な損失を選択する方法を提案する。
さらに, 有界損失関数を用いた学習を強化する新しい手法を提案する。すなわち, 出力バイアスの包含, すなわち, 正しいラベルに対応するニューロン前活性化のわずかな増加である。
驚くべきことに、これは境界付き損失の学習を大幅に改善するだけでなく、追加のラベルノイズがない場合でも、cifar-100データセットのクロスエントロピー損失に匹敵する平均的な絶対エラー損失をもたらす。
これは、最小ラベルノイズが存在する場合でも、有界損失関数を持つトレーニングは有利であることを示唆している。
異なる損失関数の学習行動の分析をさらに強化するため,境界クロスエントロピー(Bunded Cross Entropy)と呼ばれる新しい損失関数を設計・テストする。
関連論文リスト
- Active Negative Loss: A Robust Framework for Learning with Noisy Labels [26.853357479214004]
ノイズ・ロバスト損失関数はラベルノイズの存在下での学習を改善する効果的なソリューションを提供する。
本稿では,新しい損失関数クラスである正規化負損失関数(NNLF)を導入し,APLフレームワーク内の受動損失関数として機能する。
非対称ノイズシナリオでは,脆弱性をラベルの不均衡に緩和するエントロピーに基づく正規化手法を提案する。
論文 参考訳（メタデータ） (2024-12-03T11:00:15Z) - Robust Network Learning via Inverse Scale Variational Sparsification [55.64935887249435]
時間連続な逆スケール空間の定式化において、逆スケールの変動スペーサー化フレームワークを導入する。
周波数ベースの手法とは異なり、我々の手法は小さな特徴を滑らかにすることでノイズを除去するだけでなく、ノイズを除去する。
各種騒音に対する頑健性の向上によるアプローチの有効性を示す。
論文 参考訳（メタデータ） (2024-09-27T03:17:35Z) - The Fisher-Rao Loss for Learning under Label Noise [9.238700679836855]
離散分布の統計多様体におけるフィッシャー・ラオ距離から生じるフィッシャー・ラオ損失関数について検討する。
ラベルノイズの存在下での性能劣化の上限を導出し,この損失の学習速度を解析する。
論文 参考訳（メタデータ） (2022-10-28T20:50:10Z) - Learning with Noisy Labels via Sparse Regularization [76.31104997491695]
ノイズの多いラベルで学習することは、正確なディープニューラルネットワークをトレーニングするための重要なタスクである。
クロスエントロピー(Cross Entropy, CE)など、一般的に使われている損失関数は、ノイズラベルへの過度なオーバーフィットに悩まされている。
我々は, スパース正規化戦略を導入し, ワンホット制約を近似する。
論文 参考訳（メタデータ） (2021-07-31T09:40:23Z) - On Codomain Separability and Label Inference from (Noisy) Loss Functions [11.780563744330038]
本稿では,任意の(ノイズの多い)損失関数値からラベル推論が可能となる必要かつ十分な条件を検討するために,コドメイン分離性の概念を導入する。
一般的なアクティベーション機能を持つマルチクラスクロスエントロピーや,ブレグマンの発散に基づく損失を含む,多くの一般的な損失関数に対して,任意の雑音レベルに対するラベル推論攻撃を設計可能であることを示す。
論文 参考訳（メタデータ） (2021-07-07T05:29:53Z) - Searching for Robustness: Loss Learning for Noisy Classification Tasks [81.70914107917551]
テイラーを用いたフレキシブルな損失関数群をパラメタライズし、この空間におけるノイズロスの探索に進化的戦略を適用する。
その結果、ホワイトボックスの損失は、さまざまな下流タスクで効果的なノイズロバスト学習を可能にするシンプルで高速な「プラグアンドプレイ」モジュールを提供します。
論文 参考訳（メタデータ） (2021-02-27T15:27:22Z) - Normalized Loss Functions for Deep Learning with Noisy Labels [39.32101898670049]
一般的に使用されているCross Entropy(CE)損失は,ノイズラベルに対して堅牢ではないことを示す。
アクティブ・パッシブ・ロス(APL)と呼ばれるロバストな損失関数を構築するためのフレームワークを提案する。
論文 参考訳（メタデータ） (2020-06-24T08:25:46Z) - Beyond Dropout: Feature Map Distortion to Regularize Deep Neural
Networks [107.77595511218429]
本稿では,ディープニューラルネットワークの中間層に関連する実験的なRademacher複雑性について検討する。
上記の問題に対処するための特徴歪み法(Disout)を提案する。
より高い試験性能を有するディープニューラルネットワークを作製するための特徴写像歪みの優位性を解析し、実証した。
論文 参考訳（メタデータ） (2020-02-23T13:59:13Z) - Learning Not to Learn in the Presence of Noisy Labels [104.7655376309784]
ギャンブラーの損失と呼ばれる新しい種類の損失関数は、様々なレベルの汚職にまたがってノイズをラベル付けするのに強い堅牢性をもたらすことを示す。
この損失関数によるトレーニングは、ノイズのあるラベルを持つデータポイントでの学習を"維持"することをモデルに促すことを示す。
論文 参考訳（メタデータ） (2020-02-16T09:12:27Z) - Learning Adaptive Loss for Robust Learning with Noisy Labels [59.06189240645958]
ロバスト損失は、堅牢な学習問題を扱うための重要な戦略である。
本稿では,強靭なハイパーチューニングが可能なメタ学習手法を提案する。
4種類のSOTA損失関数は, 最小化, 一般利用, 有効性を示す。
論文 参考訳（メタデータ） (2020-02-16T00:53:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。