論文の概要: Noise-Robust Loss Functions: Enhancing Bounded Losses for Large-Scale Noisy Data Learning

• arxiv url: http://arxiv.org/abs/2306.05497v2
• Date: Mon, 24 Jun 2024 09:02:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-26 21:19:43.586669
• Title: Noise-Robust Loss Functions: Enhancing Bounded Losses for Large-Scale Noisy Data Learning
• Title（参考訳）: ノイズロス関数:大規模雑音データ学習における境界損失の軽減
• Authors: Max Staats, Matthias Thamm, Bernd Rosenow,
• Abstract要約: 大きな注釈付きデータセットには、必然的にノイズのあるラベルが含まれており、ラベルを覚えやすいようにディープニューラルネットワークをトレーニングする上で大きな課題となる。 ノイズ・ロバスト損失関数はこの問題に対処するための重要な戦略として現れてきたが、過度に適合しないロバスト損失関数を作成することは依然として困難である。 本稿では,ロジットバイアス(logit bias)と表される新しい手法を提案し,ロジットに正しいクラスの位置で実数$epsilon$を付加する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large annotated datasets inevitably contain noisy labels, which poses a major challenge for training deep neural networks as they easily memorize the labels. Noise-robust loss functions have emerged as a notable strategy to counteract this issue, but it remains challenging to create a robust loss function which is not susceptible to underfitting. Through a quantitative approach, this paper explores the limited overlap between the network output at initialization and regions of non-vanishing gradients of bounded loss functions in the initial learning phase. Using these insights, we address underfitting of the MAE loss with a novel method denoted as logit bias, which adds a real number $\epsilon$ to the logit at the position of the correct class. This method enables bounded losses to learn, even on datasets like WebVision, consisting of over a million images from 1000 classes. Extensive numerical experiments show that the logit bias enables MAE to compete with state-of-the-art noise robust loss functions. In addition, we demonstrate that our method can be used to determine optimal parameters for other loss functions -- without having to train networks. Remarkably, our method determines the hyperparameters based on the number of classes, resulting in loss functions which require zero dataset or noise-dependent parameters.
• Abstract（参考訳）: 大きな注釈付きデータセットには、必然的にノイズのあるラベルが含まれており、ラベルを覚えやすいようにディープニューラルネットワークをトレーニングする上で大きな課題となる。 ノイズ・ロバスト損失関数はこの問題に対処するための重要な戦略として現れてきたが、過度に適合しないロバスト損失関数を作成することは依然として困難である。 本稿では,初期化時のネットワーク出力と,初期学習段階における有界損失関数の非消滅勾配の領域との重複を定量的に検討する。 これらの知見を用いて、ロジットバイアス(logit bias)と呼ばれる新しい手法によるMAE損失の不適合に対処し、正しいクラスの位置にあるロジットに実数$\epsilon$を付加する。 この方法では、1000以上のクラスの100万以上のイメージからなるWebVisionのようなデータセットでも、境界付き損失を学習することができる。 大規模な数値実験により、ロジットバイアスにより、MAEは最先端のノイズロバスト損失関数と競合できることが示された。 さらに,ネットワークをトレーニングすることなく,他の損失関数の最適パラメータを決定するために,本手法が有効であることを示す。 また,本手法は,クラス数に基づいてハイパーパラメータを決定するため,データセットやノイズ依存パラメータが不要な損失関数を導出する。

関連論文リスト

• Robust Loss Functions for Training Decision Trees with Noisy Labels [4.795403008763752]
  我々は、頑健な学習アルゴリズムに繋がる損失関数に着目し、ノイズの多いラベル付きデータを用いて決定木を訓練することを検討する。 まず、決定木学習の文脈において、既存の損失関数のロバスト性に関する新しい理論的知見を提供する。 第2に,分散損失と呼ばれるロバストな損失関数を構築するためのフレームワークを導入する。
  論文  参考訳（メタデータ） (2023-12-20T11:27:46Z)
• Xtreme Margin: A Tunable Loss Function for Binary Classification Problems [0.0]
  本稿では,新しい損失関数 Xtreme Margin の損失関数について概説する。 二進的クロスエントロピーやヒンジ損失関数とは異なり、この損失関数は研究者や実践者がトレーニングプロセスに柔軟性をもたらす。
  論文  参考訳（メタデータ） (2022-10-31T22:39:32Z)
• The Fisher-Rao Loss for Learning under Label Noise [9.238700679836855]
  離散分布の統計多様体におけるフィッシャー・ラオ距離から生じるフィッシャー・ラオ損失関数について検討する。 ラベルノイズの存在下での性能劣化の上限を導出し,この損失の学習速度を解析する。
  論文  参考訳（メタデータ） (2022-10-28T20:50:10Z)
• Learning with Noisy Labels via Sparse Regularization [76.31104997491695]
  ノイズの多いラベルで学習することは、正確なディープニューラルネットワークをトレーニングするための重要なタスクである。 クロスエントロピー(Cross Entropy, CE)など、一般的に使われている損失関数は、ノイズラベルへの過度なオーバーフィットに悩まされている。 我々は, スパース正規化戦略を導入し, ワンホット制約を近似する。
  論文  参考訳（メタデータ） (2021-07-31T09:40:23Z)
• Asymmetric Loss Functions for Learning with Noisy Labels [82.50250230688388]
  そこで本研究では,様々なノイズに対する雑音ラベルによる学習に頑健な,新しい損失関数,すなわちテクスティタ対称損失関数を提案する。 ベンチマークデータセットの実験結果は、非対称損失関数が最先端の手法より優れていることを示した。
  論文  参考訳（メタデータ） (2021-06-06T12:52:48Z)
• Searching for Robustness: Loss Learning for Noisy Classification Tasks [81.70914107917551]
  テイラーを用いたフレキシブルな損失関数群をパラメタライズし、この空間におけるノイズロスの探索に進化的戦略を適用する。 その結果、ホワイトボックスの損失は、さまざまな下流タスクで効果的なノイズロバスト学習を可能にするシンプルで高速な「プラグアンドプレイ」モジュールを提供します。
  論文  参考訳（メタデータ） (2021-02-27T15:27:22Z)
• Salvage Reusable Samples from Noisy Data for Robust Learning [70.48919625304]
  本稿では,Web画像を用いた深部FGモデルのトレーニングにおいて,ラベルノイズに対処するための再利用可能なサンプル選択と修正手法を提案する。 私たちのキーとなるアイデアは、再利用可能なサンプルの追加と修正を行い、それらをクリーンな例とともに活用してネットワークを更新することです。
  論文  参考訳（メタデータ） (2020-08-06T02:07:21Z)
• Normalized Loss Functions for Deep Learning with Noisy Labels [39.32101898670049]
  一般的に使用されているCross Entropy(CE)損失は,ノイズラベルに対して堅牢ではないことを示す。 アクティブ・パッシブ・ロス(APL)と呼ばれるロバストな損失関数を構築するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-24T08:25:46Z)
• Learning Not to Learn in the Presence of Noisy Labels [104.7655376309784]
  ギャンブラーの損失と呼ばれる新しい種類の損失関数は、様々なレベルの汚職にまたがってノイズをラベル付けするのに強い堅牢性をもたらすことを示す。 この損失関数によるトレーニングは、ノイズのあるラベルを持つデータポイントでの学習を"維持"することをモデルに促すことを示す。
  論文  参考訳（メタデータ） (2020-02-16T09:12:27Z)
• Learning Adaptive Loss for Robust Learning with Noisy Labels [59.06189240645958]
  ロバスト損失は、堅牢な学習問題を扱うための重要な戦略である。 本稿では,強靭なハイパーチューニングが可能なメタ学習手法を提案する。 4種類のSOTA損失関数は, 最小化, 一般利用, 有効性を示す。
  論文  参考訳（メタデータ） (2020-02-16T00:53:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。