論文の概要: Is Label Smoothing Truly Incompatible with Knowledge Distillation: An Empirical Study

• arxiv url: http://arxiv.org/abs/2104.00676v1
• Date: Thu, 1 Apr 2021 17:59:12 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-02 13:57:59.965009
• Title: Is Label Smoothing Truly Incompatible with Knowledge Distillation: An Empirical Study
• Title（参考訳）: ラベルの平滑化は本当に知識の蒸留とは相容れないか:実証的研究
• Authors: Zhiqiang Shen and Zechun Liu and Dejia Xu and Zitian Chen and Kwang-Ting Cheng and Marios Savvides
• Abstract要約: 本研究では,ラベルスムージングがナレッジ蒸留と相容れないことを実証的に明らかにする。 ラベルスムージングが意味的に類似したクラスと異なるクラスの分布にどのように影響するかに関する新しい接続を提供します。 我々は,その一面性と不完全性について,大規模解析,可視化,包括的な実験を通じて検討する。
• 参考スコア（独自算出の注目度）: 59.95267695402516
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This work aims to empirically clarify a recently discovered perspective that label smoothing is incompatible with knowledge distillation. We begin by introducing the motivation behind on how this incompatibility is raised, i.e., label smoothing erases relative information between teacher logits. We provide a novel connection on how label smoothing affects distributions of semantically similar and dissimilar classes. Then we propose a metric to quantitatively measure the degree of erased information in sample's representation. After that, we study its one-sidedness and imperfection of the incompatibility view through massive analyses, visualizations and comprehensive experiments on Image Classification, Binary Networks, and Neural Machine Translation. Finally, we broadly discuss several circumstances wherein label smoothing will indeed lose its effectiveness. Project page: http://zhiqiangshen.com/projects/LS_and_KD/index.html.
• Abstract（参考訳）: 本研究はラベル平滑化が知識蒸留と相容れないという最近発見された視点を実証的に明らかにすることを目的としている。 まず,この不整合性向上の背景にある動機,すなわちラベルスムーズ化が教師のロジット間の相対情報を消去することから始める。 ラベルの平滑化が意味的に類似したクラスと異なるクラスの分布にどのように影響するか,新たな関連について述べる。 次に,サンプル表現における消去情報の度合いを定量的に測定する指標を提案する。 その後、画像分類、バイナリネットワーク、ニューラルマシン翻訳に関する大規模な分析、可視化、包括的な実験を通じて、その一方的側面と不完全性について研究する。 最後に,ラベル平滑化の効果が失われる状況について概説する。 プロジェクトページ: http://zhiqiangshen.com/projects/LS_and_KD/index.html

関連論文リスト

• Virtual Category Learning: A Semi-Supervised Learning Method for Dense Prediction with Extremely Limited Labels [63.16824565919966]
  本稿では,ラベルの修正を伴わずに,混乱したサンプルを積極的に使用することを提案する。 仮想カテゴリー(VC)は、モデルの最適化に安全に貢献できるように、各混乱したサンプルに割り当てられる。 私たちの興味深い発見は、密集した視覚タスクにおけるVC学習の利用に注目しています。
  論文  参考訳（メタデータ） (2023-12-02T16:23:52Z)
• Learning From Biased Soft Labels [48.84637168570285]
  ある研究では、知識の蒸留とラベルの平滑化がソフトラベルからの学習として統合できることが示されている。 本稿では, バイアス付きソフトラベルが依然として有効かどうかを考察する。
  論文  参考訳（メタデータ） (2023-02-16T08:57:48Z)
• A Theory-Driven Self-Labeling Refinement Method for Contrastive Representation Learning [111.05365744744437]
  教師なしのコントラスト学習は、正のイメージの作物と、負のイメージの作物とをラベル付けする。 本研究は, コントラスト学習において, 不正確なラベル割り当てがセマンティック・インスタンス識別の一般化を著しく損なうことを最初に証明する。 この理論に触発されて、コントラスト学習のための新しい自己ラベル改善手法を提案する。
  論文  参考訳（メタデータ） (2021-06-28T14:24:52Z)
• Rethinking Soft Labels for Knowledge Distillation: A Bias-Variance Tradeoff Perspective [63.87421152879726]
  軟質ラベルを用いた蒸留によるバイアス分散トレードオフについて検討した。 本稿では,サンプル単位のバイアス分散トレードオフを適応的に処理するための,新しい重み付きソフトラベルを提案する。
  論文  参考訳（メタデータ） (2021-02-01T05:53:04Z)
• An Investigation of how Label Smoothing Affects Generalization [22.663974656813824]
  一般化損失を制御するためにラベルの平滑化がどう役立つかを示す。 我々の理論はまた、最適なラベル平滑化点の存在を予測している。 この知見は,理論家や実践者がラベルの平滑化を理解する上で有効である。
  論文  参考訳（メタデータ） (2020-10-23T20:26:25Z)
• Debiased Contrastive Learning [64.98602526764599]
  我々は,同ラベルデータポイントのサンプリングを補正する,偏りのあるコントラスト目的の開発を行う。 実証的に、提案する目的は、視覚、言語、強化学習ベンチマークにおける表現学習の最先端を一貫して上回る。
  論文  参考訳（メタデータ） (2020-07-01T04:25:24Z)
• Does label smoothing mitigate label noise? [57.76529645344897]
  ラベルの平滑化はラベルノイズ下での損失補正と競合することを示す。 ノイズの多いデータからモデルを蒸留する場合,教師のラベルの平滑化は有益であることを示す。
  論文  参考訳（メタデータ） (2020-03-05T18:43:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。