論文の概要: Understanding (Generalized) Label Smoothing when Learning with Noisy Labels

• arxiv url: http://arxiv.org/abs/2106.04149v2
• Date: Wed, 9 Jun 2021 00:52:34 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-10 10:48:13.162646
• Title: Understanding (Generalized) Label Smoothing when Learning with Noisy Labels
• Title（参考訳）: 雑音ラベルを用いた学習におけるラベル平滑化の理解
• Authors: Jiaheng Wei, Hangyu Liu, Tongliang Liu, Gang Niu and Yang Liu
• Abstract要約: ラベルスムーシング(LS)は、ハードトレーニングラベルと一様分散ソフトラベルの両方の正の重み付け平均を使用する学習パラダイムである。 雑音ラベルを用いた学習において,一般化ラベル平滑化(GLS)の特性について理解する。
• 参考スコア（独自算出の注目度）: 57.37057235894054
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Label smoothing (LS) is an arising learning paradigm that uses the positively weighted average of both the hard training labels and uniformly distributed soft labels. It was shown that LS serves as a regularizer for training data with hard labels and therefore improves the generalization of the model. Later it was reported LS even helps with improving robustness when learning with noisy labels. However, we observe that the advantage of LS vanishes when we operate in a high label noise regime. Puzzled by the observation, we proceeded to discover that several proposed learning-with-noisy-labels solutions in the literature instead relate more closely to negative label smoothing (NLS), which defines as using a negative weight to combine the hard and soft labels! We show that NLS functions substantially differently from LS in their achieved model confidence. To differentiate the two cases, we will call LS the positive label smoothing (PLS), and this paper unifies PLS and NLS into generalized label smoothing (GLS). We provide understandings for the properties of GLS when learning with noisy labels. Among other established properties, we theoretically show NLS is considered more beneficial when the label noise rates are high. We provide experimental results to support our findings too.
• Abstract（参考訳）: ラベル平滑化(英: label smoothing, ls)は、ハードトレーニングラベルと均一に分散されたソフトラベルの両方の正の重み付け平均を用いる学習パラダイムである。 LSはハードラベルを用いたデータトレーニングのレギュレータとして機能し,モデルの一般化を向上することを示した。 その後、LSはノイズラベルで学習する際の堅牢性の改善にも役立つと報告された。 しかし,高ラベル雑音下での動作においては,LSの利点は消滅する。 観察に困惑した私たちは、文学で提案されたいくつかの学習-雑音-ラベルソリューションが、より負のラベル平滑化(nls)に密接に関連していることを発見しました。 その結果,NLS関数はモデル信頼度においてLSと大きく異なることがわかった。 両症例を区別するため,LSを正ラベル平滑化 (PLS) と呼び,本論文ではPLSとNLSを一般化ラベル平滑化 (GLS) に統一する。 雑音ラベルを用いた学習において, GLSの特性に対する理解を提供する。 他の確立された特性の中で、ラベルノイズ率が高い場合、NLSがより有益であることを示す。 調査結果を裏付ける実験結果も提供します。

関連論文リスト

• Learning Label Refinement and Threshold Adjustment for Imbalanced Semi-Supervised Learning [6.904448748214652]
  半教師付き学習アルゴリズムは、不均衡なトレーニングデータに曝されると苦労する。 VALidationデータに基づく擬似ラベル最適化によるセミ教師あり学習を提案する。 SEVALは、擬似ラベルの精度を改善して特定のタスクに適応し、クラスごとに擬似ラベルの正確性を保証する。
  論文  参考訳（メタデータ） (2024-07-07T13:46:22Z)
• Generalized Semi-Supervised Learning via Self-Supervised Feature Adaptation [87.17768598044427]
  従来の半教師付き学習は、ラベル付きデータとラベルなしデータの特徴分布が一貫したものであると仮定する。 本稿では,ラベル付きおよびラベルなしデータの分散によるSSL性能向上のための汎用フレームワークであるセルフ・スーパービジョン・フィーチャー・アダプテーション(SSFA)を提案する。 提案するSSFAは擬似ラベルベースのSSL学習者に適用可能であり,ラベル付き,ラベルなし,さらには目に見えない分布における性能を著しく向上させる。
  論文  参考訳（メタデータ） (2024-05-31T03:13:45Z)
• InstanT: Semi-supervised Learning with Instance-dependent Thresholds [75.91684890150283]
  本稿では,既存手法と比較して高い自由度を有するインスタンス依存しきい値の研究を提案する。 インスタンスレベルのあいまいさと擬似ラベルのインスタンス依存エラー率を利用して、すべての未ラベルインスタンスに対して新しいインスタンス依存しきい値関数を考案する。
  論文  参考訳（メタデータ） (2023-10-29T05:31:43Z)
• BadLabel: A Robust Perspective on Evaluating and Enhancing Label-noise Learning [113.8799653759137]
  我々はBadLabelと呼ばれる新しいラベルノイズタイプを導入し、既存のLNLアルゴリズムの性能を大幅に劣化させることができる。 BadLabelは、標準分類に対するラベルフライング攻撃に基づいて開発されている。 そこで本稿では, 各エポックにおいてラベルを逆向きに摂動させ, クリーンかつノイズの多いラベルの損失値を再び識別可能にする頑健なLNL法を提案する。
  論文  参考訳（メタデータ） (2023-05-28T06:26:23Z)
• CLS: Cross Labeling Supervision for Semi-Supervised Learning [9.929229055862491]
  Cross Labeling Supervision (CLS) は、典型的な擬似ラベル処理を一般化するフレームワークである。 CLSは擬似ラベルと相補ラベルの両方を作成でき、正と負の両方の学習をサポートする。
  論文  参考訳（メタデータ） (2022-02-17T08:09:40Z)
• L2B: Learning to Bootstrap Robust Models for Combating Label Noise [52.02335367411447]
  本稿では,Learning to Bootstrap (L2B) という,シンプルで効果的な手法を提案する。 モデルは、誤った擬似ラベルの影響を受けずに、自身の予測を使ってブートストラップを行うことができる。 これは、実際の観測されたラベルと生成されたラベル間の重みを動的に調整し、メタラーニングを通じて異なるサンプル間の重みを動的に調整することで実現される。
  論文  参考訳（メタデータ） (2022-02-09T05:57:08Z)
• Demystifying How Self-Supervised Features Improve Training from Noisy Labels [16.281091780103736]
  ネットワークがラベルノイズに抵抗する理由と自己教師機能について検討する。 その結果,SSLから事前学習した品質エンコーダでは,クロスエントロピー損失によって訓練された単純な線形層が対称ラベルノイズに対して理論的に堅牢であることがわかった。
  論文  参考訳（メタデータ） (2021-10-18T05:41:57Z)
• Weakly Supervised Label Smoothing [15.05158252504978]
  L2Rモデルに分類するニューラルラーニングの文脈において,広く使用されている正規化手法であるラベルスムージング(LS)について検討する。 ニューラルL2Rモデルの文脈におけるLSの研究に触発され、Weakly Supervised Label Smoothing(WSLS)と呼ばれる新しい技術を提案する。
  論文  参考訳（メタデータ） (2020-12-15T19:36:52Z)
• Regularization via Adaptive Pairwise Label Smoothing [19.252319300590653]
  本稿では Pairwise Label Smoothing (PLS) と呼ばれる新しいラベル平滑化手法を提案する。 クロスバリデーションサーチによって大域的に滑らかな分布質量を求める現在のLS法とは異なり、PSSはトレーニング中に各入力ペアの分布質量を自動的に学習する。 PLSはLSおよびベースラインモデルよりも有意に優れており,相対的分類誤差の最大30%を達成している。
  論文  参考訳（メタデータ） (2020-12-02T22:08:10Z)
• Does label smoothing mitigate label noise? [57.76529645344897]
  ラベルの平滑化はラベルノイズ下での損失補正と競合することを示す。 ノイズの多いデータからモデルを蒸留する場合,教師のラベルの平滑化は有益であることを示す。
  論文  参考訳（メタデータ） (2020-03-05T18:43:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。