論文の概要: Noise-Robust Loss Functions: Enhancing Bounded Losses for Large-Scale Noisy Data Learning

• arxiv url: http://arxiv.org/abs/2306.05497v2
• Date: Mon, 24 Jun 2024 09:02:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-26 21:19:43.586669
• Title: Noise-Robust Loss Functions: Enhancing Bounded Losses for Large-Scale Noisy Data Learning
• Title（参考訳）: ノイズロス関数:大規模雑音データ学習における境界損失の軽減
• Authors: Max Staats, Matthias Thamm, Bernd Rosenow,
• Abstract要約: 大きな注釈付きデータセットには、必然的にノイズのあるラベルが含まれており、ラベルを覚えやすいようにディープニューラルネットワークをトレーニングする上で大きな課題となる。 ノイズ・ロバスト損失関数はこの問題に対処するための重要な戦略として現れてきたが、過度に適合しないロバスト損失関数を作成することは依然として困難である。 本稿では,ロジットバイアス(logit bias)と表される新しい手法を提案し,ロジットに正しいクラスの位置で実数$epsilon$を付加する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large annotated datasets inevitably contain noisy labels, which poses a major challenge for training deep neural networks as they easily memorize the labels. Noise-robust loss functions have emerged as a notable strategy to counteract this issue, but it remains challenging to create a robust loss function which is not susceptible to underfitting. Through a quantitative approach, this paper explores the limited overlap between the network output at initialization and regions of non-vanishing gradients of bounded loss functions in the initial learning phase. Using these insights, we address underfitting of the MAE loss with a novel method denoted as logit bias, which adds a real number $\epsilon$ to the logit at the position of the correct class. This method enables bounded losses to learn, even on datasets like WebVision, consisting of over a million images from 1000 classes. Extensive numerical experiments show that the logit bias enables MAE to compete with state-of-the-art noise robust loss functions. In addition, we demonstrate that our method can be used to determine optimal parameters for other loss functions -- without having to train networks. Remarkably, our method determines the hyperparameters based on the number of classes, resulting in loss functions which require zero dataset or noise-dependent parameters.
• Abstract（参考訳）: 大きな注釈付きデータセットには、必然的にノイズのあるラベルが含まれており、ラベルを覚えやすいようにディープニューラルネットワークをトレーニングする上で大きな課題となる。 ノイズ・ロバスト損失関数はこの問題に対処するための重要な戦略として現れてきたが、過度に適合しないロバスト損失関数を作成することは依然として困難である。 本稿では,初期化時のネットワーク出力と,初期学習段階における有界損失関数の非消滅勾配の領域との重複を定量的に検討する。 これらの知見を用いて、ロジットバイアス(logit bias)と呼ばれる新しい手法によるMAE損失の不適合に対処し、正しいクラスの位置にあるロジットに実数$\epsilon$を付加する。 この方法では、1000以上のクラスの100万以上のイメージからなるWebVisionのようなデータセットでも、境界付き損失を学習することができる。 大規模な数値実験により、ロジットバイアスにより、MAEは最先端のノイズロバスト損失関数と競合できることが示された。 さらに,ネットワークをトレーニングすることなく,他の損失関数の最適パラメータを決定するために,本手法が有効であることを示す。 また,本手法は,クラス数に基づいてハイパーパラメータを決定するため,データセットやノイズ依存パラメータが不要な損失関数を導出する。

関連論文リスト

• Active Negative Loss: A Robust Framework for Learning with Noisy Labels [26.853357479214004]
  ノイズ・ロバスト損失関数はラベルノイズの存在下での学習を改善する効果的なソリューションを提供する。 本稿では,新しい損失関数クラスである正規化負損失関数(NNLF)を導入し,APLフレームワーク内の受動損失関数として機能する。 非対称ノイズシナリオでは,脆弱性をラベルの不均衡に緩和するエントロピーに基づく正規化手法を提案する。
  論文  参考訳（メタデータ） (2024-12-03T11:00:15Z)
• Robust Network Learning via Inverse Scale Variational Sparsification [55.64935887249435]
  時間連続な逆スケール空間の定式化において、逆スケールの変動スペーサー化フレームワークを導入する。 周波数ベースの手法とは異なり、我々の手法は小さな特徴を滑らかにすることでノイズを除去するだけでなく、ノイズを除去する。 各種騒音に対する頑健性の向上によるアプローチの有効性を示す。
  論文  参考訳（メタデータ） (2024-09-27T03:17:35Z)
• The Fisher-Rao Loss for Learning under Label Noise [9.238700679836855]
  離散分布の統計多様体におけるフィッシャー・ラオ距離から生じるフィッシャー・ラオ損失関数について検討する。 ラベルノイズの存在下での性能劣化の上限を導出し,この損失の学習速度を解析する。
  論文  参考訳（メタデータ） (2022-10-28T20:50:10Z)
• Learning with Noisy Labels via Sparse Regularization [76.31104997491695]
  ノイズの多いラベルで学習することは、正確なディープニューラルネットワークをトレーニングするための重要なタスクである。 クロスエントロピー(Cross Entropy, CE)など、一般的に使われている損失関数は、ノイズラベルへの過度なオーバーフィットに悩まされている。 我々は, スパース正規化戦略を導入し, ワンホット制約を近似する。
  論文  参考訳（メタデータ） (2021-07-31T09:40:23Z)
• On Codomain Separability and Label Inference from (Noisy) Loss Functions [11.780563744330038]
  本稿では,任意の(ノイズの多い)損失関数値からラベル推論が可能となる必要かつ十分な条件を検討するために,コドメイン分離性の概念を導入する。 一般的なアクティベーション機能を持つマルチクラスクロスエントロピーや,ブレグマンの発散に基づく損失を含む,多くの一般的な損失関数に対して,任意の雑音レベルに対するラベル推論攻撃を設計可能であることを示す。
  論文  参考訳（メタデータ） (2021-07-07T05:29:53Z)
• Searching for Robustness: Loss Learning for Noisy Classification Tasks [81.70914107917551]
  テイラーを用いたフレキシブルな損失関数群をパラメタライズし、この空間におけるノイズロスの探索に進化的戦略を適用する。 その結果、ホワイトボックスの損失は、さまざまな下流タスクで効果的なノイズロバスト学習を可能にするシンプルで高速な「プラグアンドプレイ」モジュールを提供します。
  論文  参考訳（メタデータ） (2021-02-27T15:27:22Z)
• Normalized Loss Functions for Deep Learning with Noisy Labels [39.32101898670049]
  一般的に使用されているCross Entropy(CE)損失は,ノイズラベルに対して堅牢ではないことを示す。 アクティブ・パッシブ・ロス(APL)と呼ばれるロバストな損失関数を構築するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-24T08:25:46Z)
• Beyond Dropout: Feature Map Distortion to Regularize Deep Neural Networks [107.77595511218429]
  本稿では,ディープニューラルネットワークの中間層に関連する実験的なRademacher複雑性について検討する。 上記の問題に対処するための特徴歪み法(Disout)を提案する。 より高い試験性能を有するディープニューラルネットワークを作製するための特徴写像歪みの優位性を解析し、実証した。
  論文  参考訳（メタデータ） (2020-02-23T13:59:13Z)
• Learning Not to Learn in the Presence of Noisy Labels [104.7655376309784]
  ギャンブラーの損失と呼ばれる新しい種類の損失関数は、様々なレベルの汚職にまたがってノイズをラベル付けするのに強い堅牢性をもたらすことを示す。 この損失関数によるトレーニングは、ノイズのあるラベルを持つデータポイントでの学習を"維持"することをモデルに促すことを示す。
  論文  参考訳（メタデータ） (2020-02-16T09:12:27Z)
• Learning Adaptive Loss for Robust Learning with Noisy Labels [59.06189240645958]
  ロバスト損失は、堅牢な学習問題を扱うための重要な戦略である。 本稿では,強靭なハイパーチューニングが可能なメタ学習手法を提案する。 4種類のSOTA損失関数は, 最小化, 一般利用, 有効性を示す。
  論文  参考訳（メタデータ） (2020-02-16T00:53:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。