論文の概要: Does label smoothing mitigate label noise?

• arxiv url: http://arxiv.org/abs/2003.02819v1
• Date: Thu, 5 Mar 2020 18:43:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-26 06:43:37.623769
• Title: Does label smoothing mitigate label noise?
• Title（参考訳）: ラベル平滑化はラベルノイズを軽減するか?
• Authors: Michal Lukasik, Srinadh Bhojanapalli, Aditya Krishna Menon, Sanjiv Kumar
• Abstract要約: ラベルの平滑化はラベルノイズ下での損失補正と競合することを示す。 ノイズの多いデータからモデルを蒸留する場合,教師のラベルの平滑化は有益であることを示す。
• 参考スコア（独自算出の注目度）: 57.76529645344897
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Label smoothing is commonly used in training deep learning models, wherein one-hot training labels are mixed with uniform label vectors. Empirically, smoothing has been shown to improve both predictive performance and model calibration. In this paper, we study whether label smoothing is also effective as a means of coping with label noise. While label smoothing apparently amplifies this problem --- being equivalent to injecting symmetric noise to the labels --- we show how it relates to a general family of loss-correction techniques from the label noise literature. Building on this connection, we show that label smoothing is competitive with loss-correction under label noise. Further, we show that when distilling models from noisy data, label smoothing of the teacher is beneficial; this is in contrast to recent findings for noise-free problems, and sheds further light on settings where label smoothing is beneficial.
• Abstract（参考訳）: ラベル平滑化はディープラーニングモデルのトレーニングで一般的に用いられ、ワンホットトレーニングラベルと一様ラベルベクトルが混在する。 実験的に、平滑化は予測性能とモデル校正の両方を改善することが示されている。 本稿では,ラベルの平滑化がラベルノイズに対処する手段として有効かどうかを検討する。 ラベルの平滑化は、ラベルに対称ノイズを注入するのと同等の、この問題を増幅しているように見えるが、ラベルのノイズ文学からの一般的な損失補正技術とどのように関係しているかを示す。 この接続に基づいて,ラベルの平滑化はラベルノイズ下での損失補正と競合することを示す。 さらに,ノイズの多いデータからモデルを蒸留する場合,教師のラベルの平滑化は有益であり,これは近年のノイズのない問題に対する発見とは対照的であり,ラベルの平滑化が有益な設定にさらに光を当てている。

関連論文リスト

• Clean Label Disentangling for Medical Image Segmentation with Noisy Labels [25.180056839942345]
  医用画像のセグメンテーションに焦点を当てた現在の手法は、ノイズラベル問題として知られる誤ったアノテーションに悩まされている。 本稿では,クラス不均衡問題に対処するためのクラス不均衡サンプリング戦略を提案する。 クリーン・ラベル・ディエンタング・フレームワークを、新しいノイズの多い機能支援・クリーン・ラベル・ディエンタング・フレームワークに拡張します。
  論文  参考訳（メタデータ） (2023-11-28T07:54:27Z)
• Label Noise in Adversarial Training: A Novel Perspective to Study Robust Overfitting [45.58217741522973]
  逆行訓練においてラベルノイズが存在することを示す。 このようなラベルノイズは、正反対例の真のラベル分布とクリーン例から受け継いだラベルとのミスマッチに起因する。 本稿では,ラベルノイズと頑健なオーバーフィッティングに対処するため,ラベルの自動校正手法を提案する。
  論文  参考訳（メタデータ） (2021-10-07T01:15:06Z)
• A Realistic Simulation Framework for Learning with Label Noise [17.14439597393087]
  この枠組みは, ラベルノイズの重要な特徴を示す合成ノイズラベルを生成する。 また、ノイズの多いラベルで学習するための既存のアルゴリズムをベンチマークします。 本稿では、アノテータ機能を利用して雑音ラベルの予測と修正を行う新しい手法であるラベル品質モデル(LQM)を提案する。
  論文  参考訳（メタデータ） (2021-07-23T18:53:53Z)
• Understanding (Generalized) Label Smoothing when Learning with Noisy Labels [57.37057235894054]
  ラベルスムーシング(LS)は、ハードトレーニングラベルと一様分散ソフトラベルの両方の正の重み付け平均を使用する学習パラダイムである。 雑音ラベルを用いた学習において,一般化ラベル平滑化(GLS)の特性について理解する。
  論文  参考訳（メタデータ） (2021-06-08T07:32:29Z)
• Rethinking Noisy Label Models: Labeler-Dependent Noise with Adversarial Awareness [2.1930130356902207]
  本稿では,複数のラベルに対してインスタンス依存ノイズを一般化するラベルノイズの原理モデルを提案する。 ラベラーに依存したモデルでは、ラベルノイズは善良なラベルの自然な誤りと悪質なアクターによって提供される敵対的なラベルの2つのモードの下に現れます。 実世界の環境で発生する可能性のあるラベルノイズをより正確に反映する2つの逆攻撃ベクトルを提案する。
  論文  参考訳（メタデータ） (2021-05-28T19:58:18Z)
• Is Label Smoothing Truly Incompatible with Knowledge Distillation: An Empirical Study [59.95267695402516]
  本研究では,ラベルスムージングがナレッジ蒸留と相容れないことを実証的に明らかにする。 ラベルスムージングが意味的に類似したクラスと異なるクラスの分布にどのように影響するかに関する新しい接続を提供します。 我々は,その一面性と不完全性について,大規模解析,可視化,包括的な実験を通じて検討する。
  論文  参考訳（メタデータ） (2021-04-01T17:59:12Z)
• Extended T: Learning with Mixed Closed-set and Open-set Noisy Labels [86.5943044285146]
  ラベルノイズ遷移行列$T$は、真のラベルがノイズのあるものへと反転する確率を反映する。 本稿では,閉集合と開集合の混在したラベル雑音下での学習に着目した。 本手法は,従来の最先端のラベル雑音学習法よりも頑健な性能を追求し,混合ラベル雑音をモデル化する。
  論文  参考訳（メタデータ） (2020-12-02T02:42:45Z)
• Learning to Purify Noisy Labels via Meta Soft Label Corrector [49.92310583232323]
  最近のディープニューラルネットワーク(DNN)は、ノイズラベルによるバイアス付きトレーニングデータに容易に適合する。 ラベル修正戦略はこの問題を軽減するために一般的に用いられる。 メタ学習モデルを提案する。
  論文  参考訳（メタデータ） (2020-08-03T03:25:17Z)
• Class2Simi: A Noise Reduction Perspective on Learning with Noisy Labels [98.13491369929798]
  そこで我々は,ノイズのあるクラスラベルを持つデータポイントを,ノイズの多い類似ラベルを持つデータペアに変換するClass2Simiというフレームワークを提案する。 Class2Simiは、この変換がミニバッチのオンザフライであるだけでなく、モデル予測上の損失をペアワイズに変化させるため、計算的に効率的である。
  論文  参考訳（メタデータ） (2020-06-14T07:55:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。