論文の概要: Weighted Distillation with Unlabeled Examples

• arxiv url: http://arxiv.org/abs/2210.06711v1
• Date: Thu, 13 Oct 2022 04:08:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-14 14:28:58.956490
• Title: Weighted Distillation with Unlabeled Examples
• Title（参考訳）: 未標識例による軽量蒸留
• Authors: Fotis Iliopoulos, Vasilis Kontonis, Cenk Baykal, Gaurav Menghani, Khoa Trinh, Erik Vee
• Abstract要約: ラベルなし例による蒸留は、ラベル付きデータの量を制限する設定において、ディープニューラルネットワークをトレーニングするための一般的で強力な方法である。 本稿では, 蒸留訓練のパラダイムに合わせて, 学生の損失関数の再重み付けに基づいて, この問題に対処するための原則的アプローチを提案する。
• 参考スコア（独自算出の注目度）: 15.825078347452024
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Distillation with unlabeled examples is a popular and powerful method for training deep neural networks in settings where the amount of labeled data is limited: A large ''teacher'' neural network is trained on the labeled data available, and then it is used to generate labels on an unlabeled dataset (typically much larger in size). These labels are then utilized to train the smaller ''student'' model which will actually be deployed. Naturally, the success of the approach depends on the quality of the teacher's labels, since the student could be confused if trained on inaccurate data. This paper proposes a principled approach for addressing this issue based on a ''debiasing'' reweighting of the student's loss function tailored to the distillation training paradigm. Our method is hyper-parameter free, data-agnostic, and simple to implement. We demonstrate significant improvements on popular academic datasets and we accompany our results with a theoretical analysis which rigorously justifies the performance of our method in certain settings.
• Abstract（参考訳）: ラベルなしの例による蒸留は、ラベル付きデータの量を制限する設定でディープニューラルネットワークをトレーニングするための人気かつ強力な方法である。大きな'教師'のニューラルネットワークは、利用可能なラベル付きデータに基づいてトレーニングされ、ラベル付きデータセット(通常、サイズがはるかに大きい)上でラベルを生成するために使用される。 これらのラベルは、実際にデプロイされるより小さな'sstudent'モデルのトレーニングに使用される。 当然、この手法の成功は教師のラベルの品質に依存するが、それは不正確なデータで訓練すれば、生徒は混乱する可能性があるからである。 本稿では,蒸留訓練のパラダイムに合わせて,学生の損失関数の再重み付けに基づいて,この問題に対処するための原則的アプローチを提案する。 提案手法は,ハイパーパラメータフリー,データ非依存,実装が簡単である。 一般的な学術的データセットに顕著な改良を加え,特定の環境での手法の性能を厳格に正当化する理論解析を行った。

関連論文リスト

• Soft Curriculum for Learning Conditional GANs with Noisy-Labeled and Uncurated Unlabeled Data [70.25049762295193]
  本稿では,トレーニング中にノイズラベル付きおよび未処理データを受け入れる条件付き画像生成フレームワークを提案する。 本稿では,ラベルのないデータに新たなラベルを割り当てながら,逆行訓練にインスタンスワイドを割り当てるソフトカリキュラム学習を提案する。 実験により,本手法は,定量および定性性能の両面において,既存の半教師付き・ラベル付きロバストな手法より優れていることが示された。
  論文  参考訳（メタデータ） (2023-07-17T08:31:59Z)
• Partial-Label Regression [54.74984751371617]
  部分ラベル学習は、弱い教師付き学習環境であり、各トレーニング例に候補ラベルのセットをアノテートすることができる。 部分ラベル学習に関する従来の研究は、候補ラベルがすべて離散的な分類設定のみに焦点を当てていた。 本稿では,各トレーニング例に実値付き候補ラベルのセットをアノテートした部分ラベル回帰を初めて検討する。
  論文  参考訳（メタデータ） (2023-06-15T09:02:24Z)
• Are labels informative in semi-supervised learning? -- Estimating and leveraging the missing-data mechanism [4.675583319625962]
  半教師付き学習は、ラベルのないデータを利用して機械学習モデルを改善するための強力な技術である。 これは、あるクラスが他のクラスよりもラベル付けされる可能性が高い場合に発生する、情報的ラベルの存在に影響される可能性がある。 本稿では,データ不足のメカニズムを推定し,逆確率重み付けを用いてSSLアルゴリズムを劣化させることにより,この問題に対処する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-02-15T09:18:46Z)
• SLaM: Student-Label Mixing for Distillation with Unlabeled Examples [15.825078347452024]
  学生ラベル混合(SLaM)と呼ばれる未ラベル例を用いた知識蒸留の原理的手法を提案する。 SLaMは、いくつかの標準ベンチマークで評価することで、従来のアプローチよりも一貫して改善されている。 ランダムな分類雑音下でハーフスペースを学習する際の最もよく知られたサンプル複雑性を改善するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-08T00:14:44Z)
• Semi-supervised Learning using Robust Loss [0.0]
  手動ラベル付きデータと追加ラベル付きデータの両方を活用するための半教師付きトレーニング戦略を提案する。 既存の手法とは対照的に、自動ラベル付きデータに対してロバストな損失を適用し、不均一なデータ品質を補う。 提案手法は,画像分類におけるラベルの不均一な品質を補正することにより,モデル性能の向上を図っている。
  論文  参考訳（メタデータ） (2022-03-03T05:34:32Z)
• Debiased Pseudo Labeling in Self-Training [77.83549261035277]
  ディープニューラルネットワークは、大規模ラベル付きデータセットの助けを借りて、幅広いタスクで顕著なパフォーマンスを達成する。 ラベル付きデータの要求を軽減するため、ラベル付けされていないデータに擬似ラベルを付けることにより、学術と産業の両方で自己学習が広く使われている。 疑似ラベルの生成と利用を2つの独立した頭文字で分離するデバイアスドを提案する。
  論文  参考訳（メタデータ） (2022-02-15T02:14:33Z)
• Dash: Semi-Supervised Learning with Dynamic Thresholding [72.74339790209531]
  我々は、ラベルのない例を使ってモデルをトレーニングする半教師付き学習(SSL)アプローチを提案する。 提案手法であるDashは、ラベルなしデータ選択の観点から適応性を享受する。
  論文  参考訳（メタデータ） (2021-09-01T23:52:29Z)
• Self-Supervised Noisy Label Learning for Source-Free Unsupervised Domain Adaptation [87.60688582088194]
  新規な自己監督雑音ラベル学習法を提案する。 本手法は最新の結果を容易に達成でき、他の手法を非常に大きなマージンで超えることができる。
  論文  参考訳（メタデータ） (2021-02-23T10:51:45Z)
• SLADE: A Self-Training Framework For Distance Metric Learning [75.54078592084217]
  我々は、追加のラベルのないデータを活用することで、検索性能を向上させるための自己学習フレームワークSLADEを提案する。 まず、ラベル付きデータに基づいて教師モデルをトレーニングし、ラベルなしデータに対して擬似ラベルを生成する。 次に、最終機能埋め込みを生成するために、ラベルと擬似ラベルの両方で学生モデルをトレーニングします。
  論文  参考訳（メタデータ） (2020-11-20T08:26:10Z)
• Iterative Label Improvement: Robust Training by Confidence Based Filtering and Dataset Partitioning [5.1293809610257775]
  最先端、高容量のディープニューラルネットワークは、大量のラベル付きトレーニングデータを必要とする。 また、このデータにエラーをラベル付けする可能性も高い。 本稿では,安価な非競合データを使用することのできる新しいメタトレーニング・ラベリング手法を提案する。
  論文  参考訳（メタデータ） (2020-02-07T10:42:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。