論文の概要: Tailoring Instructions to Student's Learning Levels Boosts Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2305.09651v3
• Date: Wed, 15 May 2024 15:32:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-16 18:41:34.601331
• Title: Tailoring Instructions to Student's Learning Levels Boosts Knowledge Distillation
• Title（参考訳）: 生徒の学習水準に対する指導の仕方 : 知識蒸留の促進
• Authors: Yuxin Ren, Zihan Zhong, Xingjian Shi, Yi Zhu, Chun Yuan, Mu Li,
• Abstract要約: LGTM(Learning Good Teacher Matters)は,教師の学習プロセスに蒸留の影響を組み込むための効果的な訓練手法である。 我々のLGTMはGLUEベンチマークで6つのテキスト分類タスクに基づいて10の共通知識蒸留基準を上回ります。
• 参考スコア（独自算出の注目度）: 52.53446712834569
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: It has been commonly observed that a teacher model with superior performance does not necessarily result in a stronger student, highlighting a discrepancy between current teacher training practices and effective knowledge transfer. In order to enhance the guidance of the teacher training process, we introduce the concept of distillation influence to determine the impact of distillation from each training sample on the student's generalization ability. In this paper, we propose Learning Good Teacher Matters (LGTM), an efficient training technique for incorporating distillation influence into the teacher's learning process. By prioritizing samples that are likely to enhance the student's generalization ability, our LGTM outperforms 10 common knowledge distillation baselines on 6 text classification tasks in the GLUE benchmark.
• Abstract（参考訳）: 成績のよい教師モデルが必ずしも生徒を強くするとは限らないことが、現在の教員養成と効果的な知識伝達の相違を浮き彫りにしている。 教員養成プロセスの指導を強化するため,各研修試料からの蒸留が生徒の一般化能力に与える影響を判断するために,蒸留効果の概念を導入する。 本稿では,教師の学習プロセスに蒸留効果を取り入れた効率的な学習手法であるLGTM(Learning Good Teacher Matters)を提案する。 学生の一般化能力を高めるであろうサンプルの優先順位付けにより,LGTMはGLUEベンチマークの6つのテキスト分類タスクに基づいて,10の共通知識蒸留基準を上回りました。

関連論文リスト

• Supervision Complexity and its Role in Knowledge Distillation [65.07910515406209]
  蒸留した学生の一般化行動について検討する。 この枠組みは、教師の精度、教師の予測に対する生徒の差、教師の予測の複雑さの間の微妙な相互作用を強調している。 オンライン蒸留の有効性を実証し,様々な画像分類ベンチマークとモデルアーキテクチャに関する理論的知見を検証した。
  論文  参考訳（メタデータ） (2023-01-28T16:34:47Z)
• Teaching What You Should Teach: A Data-Based Distillation Method [20.595460553747163]
  知識蒸留フレームワークに「教えるべきものを教える」戦略を導入する。 本稿では,より効率的かつ合理的な蒸留を支援するために,望まれる増補サンプルを探索するデータベース蒸留手法"TST"を提案する。 具体的には,教師の強みと生徒の弱みを補うことを支援する,優先バイアス付きニューラルネットワークベースのデータ拡張モジュールを設計する。
  論文  参考訳（メタデータ） (2022-12-11T06:22:14Z)
• Gradient Knowledge Distillation for Pre-trained Language Models [21.686694954239865]
  蒸留プロセスに勾配配向目的を組み込むため, グラディエント知識蒸留(GKD)を提案する。 実験結果から,GKDは従来のKD法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2022-11-02T12:07:16Z)
• Toward Student-Oriented Teacher Network Training For Knowledge Distillation [40.55715466657349]
  本稿では,リプシッツ正則化と整合性正則化を取り入れた教員養成手法SoTeacherを提案する。 様々な知識蒸留アルゴリズムと教師と学生のペアを用いたベンチマークデータセットの実験は、SoTeacherが生徒の精度を一貫して改善できることを確認した。
  論文  参考訳（メタデータ） (2022-06-14T07:51:25Z)
• Better Teacher Better Student: Dynamic Prior Knowledge for Knowledge Distillation [70.92135839545314]
  本研究では,教師の持つ特徴の一部を,特徴蒸留前の先行知識として統合した動的事前知識(DPK)を提案する。 DPKは,教員モデルと生徒モデルのパフォーマンスを正に相関させ,より大きな教員を適用することで生徒の精度をさらに高めることができる。
  論文  参考訳（メタデータ） (2022-06-13T11:52:13Z)
• On the benefits of knowledge distillation for adversarial robustness [53.41196727255314]
  知識蒸留は, 対向ロバスト性において, 最先端モデルの性能を高めるために直接的に利用できることを示す。 本稿では,モデルの性能向上のための新しいフレームワークであるAdversarial Knowledge Distillation (AKD)を提案する。
  論文  参考訳（メタデータ） (2022-03-14T15:02:13Z)
• Distilling Knowledge via Intermediate Classifier Heads [0.5584060970507505]
  知識蒸留は、事前訓練されたより大きな教師モデルのガイドを用いて、リソース限定の学生モデルを訓練するためのトランスファーラーニングアプローチである。 キャパシティギャップの影響を軽減するため,中間頭部による知識蒸留を導入する。 種々の教師と学生のペアとデータセットに関する実験により,提案手法が標準知識蒸留法よりも優れていることを示した。
  論文  参考訳（メタデータ） (2021-02-28T12:52:52Z)
• Learning Student-Friendly Teacher Networks for Knowledge Distillation [50.11640959363315]
  本研究では,教師から学生への暗黒知識の伝達を容易にする新しい知識蒸留手法を提案する。 事前教育を受けた教師に与えた学習モデルの効果的な学習方法のほとんどとは対照的に,学生に親しみやすい教師モデルを学ぶことを目的とする。
  論文  参考訳（メタデータ） (2021-02-12T07:00:17Z)
• Interactive Knowledge Distillation [79.12866404907506]
  本稿では,効率的な知識蒸留のための対話型指導戦略を活用するために,対話型知識蒸留方式を提案する。 蒸留工程では,教師と学生のネットワーク間の相互作用を交換操作により行う。 教員ネットワークの典型的な設定による実験により,IAKDで訓練された学生ネットワークは,従来の知識蒸留法で訓練された学生ネットワークよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2020-07-03T03:22:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。