論文の概要: Learning From Biased Soft Labels

• arxiv url: http://arxiv.org/abs/2302.08155v1
• Date: Thu, 16 Feb 2023 08:57:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-17 14:24:30.917026
• Title: Learning From Biased Soft Labels
• Title（参考訳）: バイアス付きソフトラベルから学ぶ
• Authors: Hua Yuan, Ning Xu, Yu Shi, Xin Geng and Yong Rui
• Abstract要約: ある研究では、知識の蒸留とラベルの平滑化がソフトラベルからの学習として統合できることが示されている。 本稿では, バイアス付きソフトラベルが依然として有効かどうかを考察する。
• 参考スコア（独自算出の注目度）: 48.84637168570285
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge distillation has been widely adopted in a variety of tasks and has achieved remarkable successes. Since its inception, many researchers have been intrigued by the dark knowledge hidden in the outputs of the teacher model. Recently, a study has demonstrated that knowledge distillation and label smoothing can be unified as learning from soft labels. Consequently, how to measure the effectiveness of the soft labels becomes an important question. Most existing theories have stringent constraints on the teacher model or data distribution, and many assumptions imply that the soft labels are close to the ground-truth labels. This paper studies whether biased soft labels are still effective. We present two more comprehensive indicators to measure the effectiveness of such soft labels. Based on the two indicators, we give sufficient conditions to ensure biased soft label based learners are classifier-consistent and ERM learnable. The theory is applied to three weakly-supervised frameworks. Experimental results validate that biased soft labels can also teach good students, which corroborates the soundness of the theory.
• Abstract（参考訳）: 知識蒸留は様々なタスクで広く採用され、大きな成功を収めてきた。 開始以来、多くの研究者は教師モデルの出力に隠された暗黒の知識に魅了されてきた。 近年、知識蒸留とラベル平滑化がソフトラベルからの学習と一体化できることが研究で示されている。 その結果、ソフトラベルの有効性を測定する方法が重要な問題となる。 既存の理論の多くは教師モデルやデータ分布に厳密な制約を課しており、ソフトラベルは接地ラベルに近いという仮定が多い。 本稿では, バイアス付きソフトラベルが依然として有効かどうかを考察する。 このようなソフトラベルの有効性を測定するために,より包括的な指標を2つ提示する。 この2つの指標に基づいて,バイアス付きソフトラベルに基づく学習者が分類子一貫性とerm学習可能であることを保証するのに十分な条件を与える。 この理論は3つの弱い教師付きフレームワークに適用される。 実験の結果、偏りのあるソフトラベルは良い生徒にも教えることができ、理論の健全さを裏付ける。

関連論文リスト

• Learning with Confidence: Training Better Classifiers from Soft Labels [0.0]
  教師付き機械学習では、モデルは通常、ハードラベルを持つデータ、すなわちクラスメンバーシップの明確な割り当てを用いて訓練される。 クラスラベル上の離散確率分布として表されるラベルの不確実性を組み込むことで,分類モデルの予測性能が向上するかどうかを検討する。
  論文  参考訳（メタデータ） (2024-09-24T13:12:29Z)
• Imprecise Label Learning: A Unified Framework for Learning with Various Imprecise Label Configurations [91.67511167969934]
  imprecise label learning (ILL)は、様々な不正確なラベル構成で学習を統合するためのフレームワークである。 我々は、ILLが部分ラベル学習、半教師付き学習、雑音ラベル学習にシームレスに適応できることを実証した。
  論文  参考訳（メタデータ） (2023-05-22T04:50:28Z)
• Beyond Hard Labels: Investigating data label distributions [0.9668407688201357]
  学習の相違を、合成データセットと実世界のデータセットのハードラベルとソフトラベルと比較する。 ソフトラベルの適用により性能が向上し、内部特徴空間のより規則的な構造が得られる。
  論文  参考訳（メタデータ） (2022-07-13T14:25:30Z)
• One Positive Label is Sufficient: Single-Positive Multi-Label Learning with Label Enhancement [71.9401831465908]
  本研究では,SPMLL (Single- positive multi-label learning) について検討した。 ラベルエンハンスメントを用いた単陽性MultIラベル学習という新しい手法を提案する。 ベンチマークデータセットの実験により,提案手法の有効性が検証された。
  論文  参考訳（メタデータ） (2022-06-01T14:26:30Z)
• A Theoretical Analysis of Learning with Noisily Labeled Data [62.946840431501855]
  最初に、最初のエポックトレーニングで、クリーンラベルの例が先に学習されることを示しました。 次に、クリーンデータステージから学習した後、継続的なトレーニングモデルがテストエラーのさらなる改善を達成できることを示します。
  論文  参考訳（メタデータ） (2021-04-08T23:40:02Z)
• Is Label Smoothing Truly Incompatible with Knowledge Distillation: An Empirical Study [59.95267695402516]
  本研究では,ラベルスムージングがナレッジ蒸留と相容れないことを実証的に明らかにする。 ラベルスムージングが意味的に類似したクラスと異なるクラスの分布にどのように影響するかに関する新しい接続を提供します。 我々は,その一面性と不完全性について,大規模解析,可視化,包括的な実験を通じて検討する。
  論文  参考訳（メタデータ） (2021-04-01T17:59:12Z)
• Rethinking Soft Labels for Knowledge Distillation: A Bias-Variance Tradeoff Perspective [63.87421152879726]
  軟質ラベルを用いた蒸留によるバイアス分散トレードオフについて検討した。 本稿では,サンプル単位のバイアス分散トレードオフを適応的に処理するための,新しい重み付きソフトラベルを提案する。
  論文  参考訳（メタデータ） (2021-02-01T05:53:04Z)
• An Investigation of how Label Smoothing Affects Generalization [22.663974656813824]
  一般化損失を制御するためにラベルの平滑化がどう役立つかを示す。 我々の理論はまた、最適なラベル平滑化点の存在を予測している。 この知見は,理論家や実践者がラベルの平滑化を理解する上で有効である。
  論文  参考訳（メタデータ） (2020-10-23T20:26:25Z)
• Rethinking the Value of Labels for Improving Class-Imbalanced Learning [20.953282288425118]
  クラス不均衡学習は、半教師ありと自己教師ありの両方の方法において有益である。 不均衡なラベルは常に役に立ちません。 この結果から,現実的な長期タスクにおける不均衡ラベルの使用を再考する必要性が浮き彫りとなった。
  論文  参考訳（メタデータ） (2020-06-13T01:35:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。