論文の概要: Mitigating Memorization of Noisy Labels by Clipping the Model Prediction

• arxiv url: http://arxiv.org/abs/2212.04055v2
• Date: Sat, 10 Jun 2023 15:07:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-14 02:01:55.638957
• Title: Mitigating Memorization of Noisy Labels by Clipping the Model Prediction
• Title（参考訳）: モデル予測のクリッピングによる雑音ラベルの記憶の緩和
• Authors: Hongxin Wei, Huiping Zhuang, Renchunzi Xie, Lei Feng, Gang Niu, Bo An, Yixuan Li
• Abstract要約: クロスエントロピー(CE)の損失は、その非有界性のため、ノイズの多いラベルに対して堅牢ではないことが示されている。 我々は、ロジットベクトルのノルムをクランプして、それが定数で上界であることを保証するLogitClipを提案する。
• 参考スコア（独自算出の注目度）: 43.11056374542014
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the presence of noisy labels, designing robust loss functions is critical for securing the generalization performance of deep neural networks. Cross Entropy (CE) loss has been shown to be not robust to noisy labels due to its unboundedness. To alleviate this issue, existing works typically design specialized robust losses with the symmetric condition, which usually lead to the underfitting issue. In this paper, our key idea is to induce a loss bound at the logit level, thus universally enhancing the noise robustness of existing losses. Specifically, we propose logit clipping (LogitClip), which clamps the norm of the logit vector to ensure that it is upper bounded by a constant. In this manner, CE loss equipped with our LogitClip method is effectively bounded, mitigating the overfitting to examples with noisy labels. Moreover, we present theoretical analyses to certify the noise-tolerant ability of LogitClip. Extensive experiments show that LogitClip not only significantly improves the noise robustness of CE loss, but also broadly enhances the generalization performance of popular robust losses.
• Abstract（参考訳）: ノイズラベルの存在下では、深いニューラルネットワークの一般化性能を確保するためにロバストな損失関数の設計が重要である。 クロスエントロピー(CE)の損失は、その非有界性のため、ノイズの多いラベルに対して堅牢ではないことが示されている。 この問題を緩和するために、既存の作品は通常、対称条件で特に堅牢な損失を設計し、通常は不適合の問題に繋がる。 本稿では,ロジットレベルでの損失を誘導し,既存の損失のノイズロバスト性を高めることを目的とする。 具体的には、logitベクトルのノルムをクランプして、それが定数によって上界であることを保証するlogitクリップ(logitclip)を提案する。 このように、我々のLogitClip法によるCE損失を効果的に有界化し、ノイズのあるラベルを持つ例への過度な適合を緩和する。 さらに,LogitClipの耐雑音性を証明する理論的解析を行った。 大規模な実験により、LogitClipはCE損失のノイズロバスト性を著しく向上するだけでなく、一般的なロバスト損失の一般化性能を広く向上させることが示された。

関連論文リスト

• Label Noise: Correcting the Forward-Correction [0.0]
  ラベルノイズのあるデータセット上でニューラルネットワーク分類器を訓練することは、ノイズのあるラベルに過度に適合するリスクをもたらす。 ラベルノイズによる過度適合に対処する手法を提案する。 本研究は, オーバーフィッティングを緩和するために, トレーニング損失に低い限界を課すことを提案する。
  論文  参考訳（メタデータ） (2023-07-24T19:41:19Z)
• Expressive Losses for Verified Robustness via Convex Combinations [67.54357965665676]
  本研究では, 過近似係数と異なる表現的損失に対する性能分布の関係について検討した。 表現性が不可欠である一方で、最悪の場合の損失のより良い近似は、必ずしも優れた堅牢性-正確性トレードオフに結びついていないことを示す。
  論文  参考訳（メタデータ） (2023-05-23T12:20:29Z)
• Label Distributionally Robust Losses for Multi-class Classification: Consistency, Robustness and Adaptivity [55.29408396918968]
  多クラス分類のためのラベル分布ロバスト(LDR)損失という損失関数群について検討した。 我々の貢献は、多クラス分類のためのLDR損失のトップ$kの一貫性を確立することによって、一貫性と堅牢性の両方を含んでいる。 本稿では,各インスタンスのクラスラベルの雑音度に個別化温度パラメータを自動的に適応させる適応型LDR損失を提案する。
  論文  参考訳（メタデータ） (2021-12-30T00:27:30Z)
• Robustness and reliability when training with noisy labels [12.688634089849023]
  教師付き学習のためのデータの遅延は、コストと時間を要する可能性がある。 ディープニューラルネットワークは、ランダムラベルの適合、正規化、ロバストな損失関数の使用を証明している。
  論文  参考訳（メタデータ） (2021-10-07T10:30:20Z)
• Learning with Noisy Labels via Sparse Regularization [76.31104997491695]
  ノイズの多いラベルで学習することは、正確なディープニューラルネットワークをトレーニングするための重要なタスクである。 クロスエントロピー(Cross Entropy, CE)など、一般的に使われている損失関数は、ノイズラベルへの過度なオーバーフィットに悩まされている。 我々は, スパース正規化戦略を導入し, ワンホット制約を近似する。
  論文  参考訳（メタデータ） (2021-07-31T09:40:23Z)
• Asymmetric Loss Functions for Learning with Noisy Labels [82.50250230688388]
  そこで本研究では,様々なノイズに対する雑音ラベルによる学習に頑健な,新しい損失関数,すなわちテクスティタ対称損失関数を提案する。 ベンチマークデータセットの実験結果は、非対称損失関数が最先端の手法より優れていることを示した。
  論文  参考訳（メタデータ） (2021-06-06T12:52:48Z)
• An Exploration into why Output Regularization Mitigates Label Noise [0.0]
  騒音のロバストな損失は、ラベルノイズを扱うためのより有望なアプローチの1つである。 ラベル平滑化やエントロピーといった出力正規化項を含む損失は、正規化係数が無限大になるにつれて対称になることを示す。
  論文  参考訳（メタデータ） (2021-04-26T11:16:30Z)
• Lower-bounded proper losses for weakly supervised classification [73.974163801142]
  本稿では,弱いラベルが与えられた分類の弱い教師付き学習の問題について議論する。 サベージ表現を双対化する教師付き学習における適切な損失を表す表現定理を導出する。 提案手法の有効性を,不適切な損失や非有界損失と比較して実験的に実証した。
  論文  参考訳（メタデータ） (2021-03-04T08:47:07Z)
• Normalized Loss Functions for Deep Learning with Noisy Labels [39.32101898670049]
  一般的に使用されているCross Entropy(CE)損失は,ノイズラベルに対して堅牢ではないことを示す。 アクティブ・パッシブ・ロス(APL)と呼ばれるロバストな損失関数を構築するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-24T08:25:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。