論文の概要: An Investigation of how Label Smoothing Affects Generalization

• arxiv url: http://arxiv.org/abs/2010.12648v1
• Date: Fri, 23 Oct 2020 20:26:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-03 21:59:09.191202
• Title: An Investigation of how Label Smoothing Affects Generalization
• Title（参考訳）: ラベル平滑化が一般化に及ぼす影響の検討
• Authors: Blair Chen, Liu Ziyin, Zihao Wang, Paul Pu Liang
• Abstract要約: 一般化損失を制御するためにラベルの平滑化がどう役立つかを示す。 我々の理論はまた、最適なラベル平滑化点の存在を予測している。 この知見は,理論家や実践者がラベルの平滑化を理解する上で有効である。
• 参考スコア（独自算出の注目度）: 22.663974656813824
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: It has been hypothesized that label smoothing can reduce overfitting and improve generalization, and current empirical evidence seems to corroborate these effects. However, there is a lack of mathematical understanding of when and why such empirical improvements occur. In this paper, as a step towards understanding why label smoothing is effective, we propose a theoretical framework to show how label smoothing provides in controlling the generalization loss. In particular, we show that this benefit can be precisely formulated and identified in the label noise setting, where the training is partially mislabeled. Our theory also predicts the existence of an optimal label smoothing point, a single value for the label smoothing hyperparameter that minimizes generalization loss. Extensive experiments are done to confirm the predictions of our theory. We believe that our findings will help both theoreticians and practitioners understand label smoothing, and better apply them to real-world datasets.
• Abstract（参考訳）: ラベルの平滑化は過剰フィッティングを減少させ、一般化を改善できると仮定されており、現在の実証的証拠はこれらの効果を共生しているようである。 しかし、そのような経験的改善が起こる時期と理由に関する数学的理解が欠如している。 本稿では,ラベルの平滑化がなぜ有効かを理解するために,ラベルの平滑化が一般化損失の制御にどのように役立つかを示す理論的枠組みを提案する。 特に、この利点はラベルノイズ設定において正確に定式化され、トレーニングの一部が誤ラベルされている場合に識別可能であることを示す。 我々の理論はまた、一般化損失を最小限に抑えるラベル平滑化ハイパーパラメータの単一の値である最適ラベル平滑化点の存在を予測する。 我々の理論の予測を確認するために広範な実験が行われた。 我々の発見は、理論家や実践者がラベルの平滑化を理解し、それらを現実世界のデータセットに適用するのに役立ちます。

関連論文リスト

• You can't handle the (dirty) truth: Data-centric insights improve pseudo-labeling [60.27812493442062]
  擬似ラベル法を改善するためにラベル付きデータ品質を調査することが重要であることを示す。 具体的には、擬似ラベルの拡張のために、DIPSと呼ばれる新しいデータキャラクタリゼーションと選択フレームワークを導入する。 本研究では,多種多様な実世界のデータセットを対象とした擬似ラベル手法に対するDIPSの適用性と影響を実証する。
  論文  参考訳（メタデータ） (2024-06-19T17:58:40Z)
• Learning From Biased Soft Labels [48.84637168570285]
  ある研究では、知識の蒸留とラベルの平滑化がソフトラベルからの学習として統合できることが示されている。 本稿では, バイアス付きソフトラベルが依然として有効かどうかを考察する。
  論文  参考訳（メタデータ） (2023-02-16T08:57:48Z)
• Adaptive Label Smoothing with Self-Knowledge in Natural Language Generation [16.878277421402945]
  平滑化パラメータに動的性質をもたらす正規化スキームを提案する。 トレーニングのモデルは、前方伝播中のハエの平滑化の程度を自己制御する。
  論文  参考訳（メタデータ） (2022-10-22T11:52:38Z)
• Is Label Smoothing Truly Incompatible with Knowledge Distillation: An Empirical Study [59.95267695402516]
  本研究では,ラベルスムージングがナレッジ蒸留と相容れないことを実証的に明らかにする。 ラベルスムージングが意味的に類似したクラスと異なるクラスの分布にどのように影響するかに関する新しい接続を提供します。 我々は,その一面性と不完全性について,大規模解析,可視化,包括的な実験を通じて検討する。
  論文  参考訳（メタデータ） (2021-04-01T17:59:12Z)
• Rethinking Soft Labels for Knowledge Distillation: A Bias-Variance Tradeoff Perspective [63.87421152879726]
  軟質ラベルを用いた蒸留によるバイアス分散トレードオフについて検討した。 本稿では,サンプル単位のバイアス分散トレードオフを適応的に処理するための,新しい重み付きソフトラベルを提案する。
  論文  参考訳（メタデータ） (2021-02-01T05:53:04Z)
• Learning to Purify Noisy Labels via Meta Soft Label Corrector [49.92310583232323]
  最近のディープニューラルネットワーク(DNN)は、ノイズラベルによるバイアス付きトレーニングデータに容易に適合する。 ラベル修正戦略はこの問題を軽減するために一般的に用いられる。 メタ学習モデルを提案する。
  論文  参考訳（メタデータ） (2020-08-03T03:25:17Z)
• Does label smoothing mitigate label noise? [57.76529645344897]
  ラベルの平滑化はラベルノイズ下での損失補正と競合することを示す。 ノイズの多いデータからモデルを蒸留する場合,教師のラベルの平滑化は有益であることを示す。
  論文  参考訳（メタデータ） (2020-03-05T18:43:17Z)
• Regularization via Structural Label Smoothing [22.74769739125912]
  正規化は機械学習モデルの一般化性能を促進する効果的な方法である。 本稿では,ニューラルネットワークの過度な適合を防止するための出力分布正規化の一形態であるラベル平滑化に着目した。 このようなラベルの平滑化はトレーニングデータのベイズ誤り率に定量的なバイアスを与えることを示す。
  論文  参考訳（メタデータ） (2020-01-07T05:45:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。