論文の概要: SLaM: Student-Label Mixing for Distillation with Unlabeled Examples
- arxiv url: http://arxiv.org/abs/2302.03806v2
- Date: Thu, 8 Jun 2023 18:00:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-12 17:36:07.573403
- Title: SLaM: Student-Label Mixing for Distillation with Unlabeled Examples
- Title（参考訳）: SLaM:未使用例による蒸留用学生-ラベル混合
- Authors: Vasilis Kontonis, Fotis Iliopoulos, Khoa Trinh, Cenk Baykal, Gaurav
Menghani, Erik Vee
- Abstract要約: 学生ラベル混合(SLaM)と呼ばれる未ラベル例を用いた知識蒸留の原理的手法を提案する。
SLaMは、いくつかの標準ベンチマークで評価することで、従来のアプローチよりも一貫して改善されている。
ランダムな分類雑音下でハーフスペースを学習する際の最もよく知られたサンプル複雑性を改善するアルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 15.825078347452024
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Knowledge distillation with unlabeled examples is a powerful training
paradigm for generating compact and lightweight student models in applications
where the amount of labeled data is limited but one has access to a large pool
of unlabeled data. In this setting, a large teacher model generates ``soft''
pseudo-labels for the unlabeled dataset which are then used for training the
student model. Despite its success in a wide variety of applications, a
shortcoming of this approach is that the teacher's pseudo-labels are often
noisy, leading to impaired student performance. In this paper, we present a
principled method for knowledge distillation with unlabeled examples that we
call Student-Label Mixing (SLaM) and we show that it consistently improves over
prior approaches by evaluating it on several standard benchmarks. Finally, we
show that SLaM comes with theoretical guarantees; along the way we give an
algorithm improving the best-known sample complexity for learning halfspaces
with margin under random classification noise, and provide the first
convergence analysis for so-called ``forward loss-adjustment" methods.
- Abstract（参考訳）: ラベルなしの例による知識蒸留は、ラベル付きデータの量は限られているがラベルなしデータの大きなプールにアクセスするアプリケーションにおいて、コンパクトで軽量な学生モデルを生成するための強力なトレーニングパラダイムである。
この設定では、大きな教師モデルは、未ラベルのデータセットに対して `soft' の擬似ラベルを生成し、学生モデルのトレーニングに使用される。
様々な応用で成功したにもかかわらず、このアプローチの欠点は、教師の擬似ラベルがしばしばうるさくなり、学生のパフォーマンスが損なわれることである。
本稿では,SlaM(Student-Label Mixing, SLaM)と呼ぶ無ラベルの例を用いた知識蒸留の原理的手法を提案する。
最後に、SLaMには理論的保証が伴い、ランダムな分類ノイズの下でハーフスペースを学習するための最もよく知られたサンプル複雑性を改善するアルゴリズムを提供し、いわゆる「前向き損失調整」手法に対する最初の収束解析を提供する。
関連論文リスト
- Dual-Decoupling Learning and Metric-Adaptive Thresholding for Semi-Supervised Multi-Label Learning [81.83013974171364]
半教師付きマルチラベル学習(SSMLL)は、正確なマルチラベルアノテーションを収集するコストを削減するために、ラベルのないデータを活用する強力なフレームワークである。
半教師付き学習とは異なり、インスタンスに含まれる複数のセマンティクスのため、SSMLLの擬似ラベルとして最も確率の高いラベルを選択することはできない。
本稿では,高品質な擬似ラベルを生成するための二重パースペクティブ手法を提案する。
論文 参考訳（メタデータ） (2024-07-26T09:33:53Z) - Class-Distribution-Aware Pseudo Labeling for Semi-Supervised Multi-Label
Learning [97.88458953075205]
Pseudo-labelingは、ラベルなしデータを利用するための人気で効果的なアプローチとして登場した。
本稿では,クラスアウェアの擬似ラベル処理を行うCAP(Class-Aware Pseudo-Labeling)という新しい手法を提案する。
論文 参考訳（メタデータ） (2023-05-04T12:52:18Z) - SoftMatch: Addressing the Quantity-Quality Trade-off in Semi-supervised
Learning [101.86916775218403]
本稿では, サンプル重み付けを統一した定式化により, 一般的な擬似ラベル法を再検討する。
トレーニング中の擬似ラベルの量と質を両立させることでトレードオフを克服するSoftMatchを提案する。
実験では、画像、テキスト、不均衡な分類など、さまざまなベンチマークで大幅に改善されている。
論文 参考訳（メタデータ） (2023-01-26T03:53:25Z) - Weighted Distillation with Unlabeled Examples [15.825078347452024]
ラベルなし例による蒸留は、ラベル付きデータの量を制限する設定において、ディープニューラルネットワークをトレーニングするための一般的で強力な方法である。
本稿では, 蒸留訓練のパラダイムに合わせて, 学生の損失関数の再重み付けに基づいて, この問題に対処するための原則的アプローチを提案する。
論文 参考訳（メタデータ） (2022-10-13T04:08:56Z) - One Positive Label is Sufficient: Single-Positive Multi-Label Learning
with Label Enhancement [71.9401831465908]
本研究では,SPMLL (Single- positive multi-label learning) について検討した。
ラベルエンハンスメントを用いた単陽性MultIラベル学習という新しい手法を提案する。
ベンチマークデータセットの実験により,提案手法の有効性が検証された。
論文 参考訳（メタデータ） (2022-06-01T14:26:30Z) - Dash: Semi-Supervised Learning with Dynamic Thresholding [72.74339790209531]
我々は、ラベルのない例を使ってモデルをトレーニングする半教師付き学習(SSL)アプローチを提案する。
提案手法であるDashは、ラベルなしデータ選択の観点から適応性を享受する。
論文 参考訳（メタデータ） (2021-09-01T23:52:29Z) - GuidedMix-Net: Learning to Improve Pseudo Masks Using Labeled Images as
Reference [153.354332374204]
半教師付きセマンティックセマンティックセグメンテーションのための新しい手法である GuidedMix-Net を提案する。
まず、ラベル付きデータとラベルなしデータの間に特徴アライメントの目的を導入し、類似した画像対をキャプチャする。
MITransは、ラベルなしデータのさらなるプログレッシブな精細化のための強力な知識モジュールであることが示されている。
ラベル付きデータに対する教師付き学習とともに、ラベル付きデータの予測が生成した擬似マスクとともに学習される。
論文 参考訳（メタデータ） (2021-06-29T02:48:45Z) - Learning from Noisy Labels for Entity-Centric Information Extraction [17.50856935207308]
エンティティ中心の情報抽出のための単純な共正規化フレームワークを提案する。
これらのモデルはタスク固有の損失と共同最適化され、同様の予測を生成するために正規化される。
結局のところ、トレーニングされたモデルのいずれかを推論に利用できます。
論文 参考訳（メタデータ） (2021-04-17T22:49:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。