論文の概要: Hard Gate Knowledge Distillation -- Leverage Calibration for Robust and Reliable Language Model

• arxiv url: http://arxiv.org/abs/2210.12427v1
• Date: Sat, 22 Oct 2022 11:57:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-25 13:27:34.305560
• Title: Hard Gate Knowledge Distillation -- Leverage Calibration for Robust and Reliable Language Model
• Title（参考訳）: hard gate knowledge distillation --ロバストで信頼性の高い言語モデルのためのキャリブレーションの活用
• Authors: Dongkyu Lee, Zhiliang Tian, Yingxiu Zhao, Ka Chun Cheung, Nevin L. Zhang
• Abstract要約: 知識蒸留では、教師の知識と訓練データ分布から引き出された観察の両方から、学生モデルを指導する。 我々は教師モデルが知識の源であり、学生の誤校正を検出する指標であると考えている。 このシンプルで斬新な視点は、教師モデルからの学習とトレーニングデータとを切り替えるハードゲートの知識蒸留スキームに繋がる。
• 参考スコア（独自算出の注目度）: 18.459316417989353
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In knowledge distillation, a student model is trained with supervisions from both knowledge from a teacher and observations drawn from a training data distribution. Knowledge of a teacher is considered a subject that holds inter-class relations which send a meaningful supervision to a student; hence, much effort has been put to find such knowledge to be distilled. In this paper, we explore a question that has been given little attention: "when to distill such knowledge." The question is answered in our work with the concept of model calibration; we view a teacher model not only as a source of knowledge but also as a gauge to detect miscalibration of a student. This simple and yet novel view leads to a hard gate knowledge distillation scheme that switches between learning from a teacher model and training data. We verify the gating mechanism in the context of natural language generation at both the token-level and the sentence-level. Empirical comparisons with strong baselines show that hard gate knowledge distillation not only improves model generalization, but also significantly lowers model calibration error.
• Abstract（参考訳）: 知識蒸留では、教師の知識と訓練データ分布から引き出された観察の両方から、学生モデルを指導する。 教師の知識は、学生に有意義な監督を与える階級間関係を持つ主題と考えられており、そのような知識を蒸留するために多くの努力が払われている。 本稿では,「そのような知識を蒸留する方法」という,ほとんど注目されていない疑問について考察する。 モデル校正の概念では,教師モデルは知識の源としてだけでなく,生徒の誤校正を検出する指標として捉えている。 このシンプルで斬新な視点は、教師モデルからの学習とトレーニングデータとを切り替えるハードゲートの知識蒸留スキームに繋がる。 我々は,自然言語生成の文脈におけるゲーティング機構を,トークンレベルと文レベルの両方で検証する。 ハードゲート知識蒸留は, モデル一般化だけでなく, モデルキャリブレーション誤差を著しく低減することを示した。

関連論文リスト

• AD-KD: Attribution-Driven Knowledge Distillation for Language Model Compression [26.474962405945316]
  本稿では,事前学習言語モデルを圧縮するための新しい帰属駆動型知識蒸留手法を提案する。 モデル推論と一般化の知識伝達を強化するため,教師のすべての潜在的判断に対する多視点帰属蒸留について検討する。
  論文  参考訳（メタデータ） (2023-05-17T07:40:12Z)
• HomoDistil: Homotopic Task-Agnostic Distillation of Pre-trained Transformers [49.79405257763856]
  本稿では,タスク非依存蒸留に焦点をあてる。 これは、計算コストとメモリフットプリントを小さくして、様々なタスクで簡単に微調整できるコンパクトな事前訓練モデルを生成する。 本稿では, 反復刈り込みによる新規なタスク非依存蒸留法であるHomotopic Distillation (HomoDistil)を提案する。
  論文  参考訳（メタデータ） (2023-02-19T17:37:24Z)
• Improved Knowledge Distillation for Pre-trained Language Models via Knowledge Selection [35.515135913846386]
  本稿では, 知識蒸留プロセスにおいて, 適切な知識を選択するためのアクター批判的アプローチを提案する。 GLUEデータセットによる実験結果から,本手法はいくつかの強い知識蒸留基準を著しく上回ることがわかった。
  論文  参考訳（メタデータ） (2023-02-01T13:40:19Z)
• Supervision Complexity and its Role in Knowledge Distillation [65.07910515406209]
  蒸留した学生の一般化行動について検討する。 この枠組みは、教師の精度、教師の予測に対する生徒の差、教師の予測の複雑さの間の微妙な相互作用を強調している。 オンライン蒸留の有効性を実証し,様々な画像分類ベンチマークとモデルアーキテクチャに関する理論的知見を検証した。
  論文  参考訳（メタデータ） (2023-01-28T16:34:47Z)
• Exploring Inconsistent Knowledge Distillation for Object Detection with Data Augmentation [66.25738680429463]
  物体検出のための知識蒸留(KD)は、教師モデルから知識を伝達することで、コンパクトな検出器を訓練することを目的としている。 教師モデルの反直感的知覚に固有の知識を蒸留することを目的とした,一貫性のない知識蒸留(IKD)を提案する。 本手法は, 1段, 2段, アンカーフリーの物体検出器において, 最先端のKDベースラインより優れる。
  論文  参考訳（メタデータ） (2022-09-20T16:36:28Z)
• Generalized Knowledge Distillation via Relationship Matching [53.69235109551099]
  よく訓練されたディープニューラルネットワーク(いわゆる「教師」)の知識は、同様のタスクを学ぶのに有用である。 知識蒸留は教師から知識を抽出し、対象モデルと統合する。 教師に学生と同じ仕事をさせる代わりに、一般のラベル空間から訓練を受けた教師の知識を借りる。
  論文  参考訳（メタデータ） (2022-05-04T06:49:47Z)
• Unified and Effective Ensemble Knowledge Distillation [92.67156911466397]
  知識蒸留は、複数の教師モデルから知識を抽出し、それを1人の学生モデルにエンコードする。 既存の多くの手法は、ラベル付きデータのみに基づいて学生モデルを学習し、蒸留する。 本研究では,教師モデルのアンサンブルから,ラベル付きデータとラベルなしデータの両方から単一学生モデルを蒸留する,統一的で効果的なアンサンブル知識蒸留法を提案する。
  論文  参考訳（メタデータ） (2022-04-01T16:15:39Z)
• On the benefits of knowledge distillation for adversarial robustness [53.41196727255314]
  知識蒸留は, 対向ロバスト性において, 最先端モデルの性能を高めるために直接的に利用できることを示す。 本稿では,モデルの性能向上のための新しいフレームワークであるAdversarial Knowledge Distillation (AKD)を提案する。
  論文  参考訳（メタデータ） (2022-03-14T15:02:13Z)
• Dynamic Rectification Knowledge Distillation [0.0]
  ダイナミック・リクティフィケーション・ナレッジ蒸留(DR-KD)は、知識蒸留の枠組みである。 DR-KDは生徒を自身の教師に転換し、自己学習者が情報を蒸留しながら誤った予測を行った場合、知識が蒸留される前に誤りが修正される。 提案するDR-KDは, 複雑な教師モデルが存在しない場合, 極めて良好に機能する。
  論文  参考訳（メタデータ） (2022-01-27T04:38:01Z)
• Introspective Learning by Distilling Knowledge from Online Self-explanation [36.91213895208838]
  本稿では,オンライン自己説明から知識を抽出し,イントロスペクティブ学習の実装を提案する。 イントロスペクティブ学習法で訓練されたモデルは、標準学習法で訓練されたモデルよりも優れていた。
  論文  参考訳（メタデータ） (2020-09-19T02:05:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。