論文の概要: Understanding Self-Distillation and Partial Label Learning in Multi-Class Classification with Label Noise

• arxiv url: http://arxiv.org/abs/2402.10482v1
• Date: Fri, 16 Feb 2024 07:13:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-19 17:19:38.728136
• Title: Understanding Self-Distillation and Partial Label Learning in Multi-Class Classification with Label Noise
• Title（参考訳）: ラベルノイズを伴う多クラス分類における自己蒸留と部分ラベル学習の理解
• Authors: Hyeonsu Jeong and Hye Won Chung
• Abstract要約: 自己蒸留(英: Self-distillation, SD)とは、教師モデルの出力を用いて学生モデルを訓練する過程である。 本研究は,クロスエントロピー損失を伴う多クラス分類におけるSDを理論的に検討する。
• 参考スコア（独自算出の注目度）: 12.636657455986144
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-distillation (SD) is the process of training a student model using the outputs of a teacher model, with both models sharing the same architecture. Our study theoretically examines SD in multi-class classification with cross-entropy loss, exploring both multi-round SD and SD with refined teacher outputs, inspired by partial label learning (PLL). By deriving a closed-form solution for the student model's outputs, we discover that SD essentially functions as label averaging among instances with high feature correlations. Initially beneficial, this averaging helps the model focus on feature clusters correlated with a given instance for predicting the label. However, it leads to diminishing performance with increasing distillation rounds. Additionally, we demonstrate SD's effectiveness in label noise scenarios and identify the label corruption condition and minimum number of distillation rounds needed to achieve 100% classification accuracy. Our study also reveals that one-step distillation with refined teacher outputs surpasses the efficacy of multi-step SD using the teacher's direct output in high noise rate regimes.
• Abstract（参考訳）: 自己蒸留 (self-distillation, sd) は、教師モデルの出力を使って生徒モデルを訓練するプロセスであり、両方のモデルは同じアーキテクチャを共有している。 本研究は,多ラウンドSDとSDの両方を,部分ラベル学習(PLL)にインスパイアされた改良された教師出力で探索し,クロスエントロピー損失を伴う多クラス分類におけるSDを理論的に検討する。 学生モデルの出力に対するクローズドフォームソリューションを導出することにより、sdは本質的に高い特徴相関を持つインスタンス間のラベル平均化として機能することを発見した。 当初、この平均化は、ラベルを予測するための所定のインスタンスと相関した特徴クラスタにモデルを集中させるのに役立つ。 しかし、蒸留ラウンドの増加に伴い性能が低下する。 さらに,ラベルノイズシナリオにおけるsdの有効性を実証し,100%分類精度を達成するために必要なラベル破損条件と蒸留ラウンド数を同定した。 また,高騒音域における教師の直接出力を用いた多段階SDの有効性を,教師の出力による一段階蒸留が超えることを示した。

関連論文リスト

• Mitigating Instance-Dependent Label Noise: Integrating Self-Supervised Pretraining with Pseudo-Label Refinement [3.272177633069322]
  実世界のデータセットは、アノテーションプロセス中にヒューマンエラー、あいまいさ、リソース制約のために、ノイズの多いラベルを含むことが多い。 そこで本研究では,SimCLRを用いた自己教師型学習と反復的擬似ラベル改良を組み合わせた新しいフレームワークを提案する。 提案手法は,特に高騒音条件下では,いくつかの最先端手法よりも優れる。
  論文  参考訳（メタデータ） (2024-12-06T09:56:49Z)
• Dual-Decoupling Learning and Metric-Adaptive Thresholding for Semi-Supervised Multi-Label Learning [81.83013974171364]
  半教師付きマルチラベル学習(SSMLL)は、正確なマルチラベルアノテーションを収集するコストを削減するために、ラベルのないデータを活用する強力なフレームワークである。 半教師付き学習とは異なり、インスタンスに含まれる複数のセマンティクスのため、SSMLLの擬似ラベルとして最も確率の高いラベルを選択することはできない。 本稿では,高品質な擬似ラベルを生成するための二重パースペクティブ手法を提案する。
  論文  参考訳（メタデータ） (2024-07-26T09:33:53Z)
• Extracting Clean and Balanced Subset for Noisy Long-tailed Classification [66.47809135771698]
  そこで我々は,分布マッチングの観点から,クラスプロトタイプを用いた新しい擬似ラベリング手法を開発した。 手動で特定の確率尺度を設定することで、ノイズと長い尾を持つデータの副作用を同時に減らすことができる。 本手法は, クリーンなラベル付きクラスバランスサブセットを抽出し, ラベルノイズ付きロングテール分類において, 効果的な性能向上を実現する。
  論文  参考訳（メタデータ） (2024-04-10T07:34:37Z)
• SLaM: Student-Label Mixing for Distillation with Unlabeled Examples [15.825078347452024]
  学生ラベル混合(SLaM)と呼ばれる未ラベル例を用いた知識蒸留の原理的手法を提案する。 SLaMは、いくつかの標準ベンチマークで評価することで、従来のアプローチよりも一貫して改善されている。 ランダムな分類雑音下でハーフスペースを学習する際の最もよく知られたサンプル複雑性を改善するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-08T00:14:44Z)
• Exploiting Completeness and Uncertainty of Pseudo Labels for Weakly Supervised Video Anomaly Detection [149.23913018423022]
  弱教師付きビデオ異常検出は、ビデオレベルのラベルのみを用いて、ビデオ内の異常事象を特定することを目的としている。 2段階の自己学習法は擬似ラベルの自己生成によって著しく改善されている。 本稿では,自己学習のための完全性と不確実性を利用した強化フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-08T05:53:53Z)
• Leveraging Instance Features for Label Aggregation in Programmatic Weak Supervision [75.1860418333995]
  Programmatic Weak Supervision (PWS) は、トレーニングラベルを効率的に合成するための広く普及したパラダイムとして登場した。 PWSのコアコンポーネントはラベルモデルであり、複数のノイズ管理ソースの出力をラベル関数として集約することで、真のラベルを推論する。 既存の統計ラベルモデルは一般的にLFの出力のみに依存し、基礎となる生成過程をモデル化する際のインスタンスの特徴を無視している。
  論文  参考訳（メタデータ） (2022-10-06T07:28:53Z)
• Efficient and Flexible Sublabel-Accurate Energy Minimization [62.50191141358778]
  データと滑らかさの項からなるエネルギー関数のクラスを最小化する問題に対処する。 既存の連続最適化手法は、サブラベル精度の高い解を見つけることができるが、大きなラベル空間では効率が良くない。 本稿では,連続モデルと離散モデルの両方の最適特性を利用する効率的なサブラベル精度手法を提案する。
  論文  参考訳（メタデータ） (2022-06-20T06:58:55Z)
• Optimizing Diffusion Rate and Label Reliability in a Graph-Based Semi-supervised Classifier [2.4366811507669124]
  Local and Global Consistency (LGC)アルゴリズムは、グラフベースの半教師付き半教師付き(GSSL)分類器の1つである。 ラベル付きインスタンスの自己影響を取り除くことは、どのように有用か、そして、それがアウト・ワン・アウトエラーにどのように関係するかについて議論する。 本研究では,ラベルの信頼性と拡散率を推定する手法を提案する。
  論文  参考訳（メタデータ） (2022-01-10T16:58:52Z)
• Deep Semi-supervised Knowledge Distillation for Overlapping Cervical Cell Instance Segmentation [54.49894381464853]
  本稿では, ラベル付きデータとラベルなしデータの両方を, 知識蒸留による精度向上に活用することを提案する。 摂動に敏感なサンプルマイニングを用いたマスク誘導型平均教師フレームワークを提案する。 実験の結果,ラベル付きデータのみから学習した教師付き手法と比較して,提案手法は性能を著しく向上することがわかった。
  論文  参考訳（メタデータ） (2020-07-21T13:27:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。