論文の概要: Towards the Law of Capacity Gap in Distilling Language Models

• arxiv url: http://arxiv.org/abs/2311.07052v1
• Date: Mon, 13 Nov 2023 03:36:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-14 15:37:27.961793
• Title: Towards the Law of Capacity Gap in Distilling Language Models
• Title（参考訳）: 蒸留言語モデルにおける容量ギャップの法則に向けて
• Authors: Chen Zhang, Dawei Song, Zheyu Ye, Yan Gao
• Abstract要約: 言語モデル (LM) 蒸留は、大きな教師のLMに居住する知識を小さな学生に消し去ることを目的とした、流行の分野である。 この痛みは、主にキャパシティギャップの呪いによって引き起こされるものであり、これは、より大きな教師のLMが常により良い学生のLMにつながるとは限らないことを記述している。 本稿では,学生の規模やアーキテクチャによって,最適なキャパシティギャップがほぼ一致していることを明らかにする。
• 参考スコア（独自算出の注目度）: 14.88999266890554
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Language model (LM) distillation is a trending area that aims to distil the knowledge resided in a large teacher LM to a small student one. While various methods have been proposed to push the distillation to its limits, it is still a pain distilling LMs when a large capacity gap is exhibited between the teacher and the student LMs. The pain is mainly resulted by the curse of capacity gap, which describes that a larger teacher LM cannot always lead to a better student LM than one distilled from a smaller teacher LM due to the affect of capacity gap increment. That is, there is likely an optimal point yielding the best student LM along the scaling course of the teacher LM. Even worse, the curse of capacity gap can be only partly yet not fully lifted as indicated in previous studies. However, the tale is not ever one-sided. Although a larger teacher LM has better performance than a smaller teacher LM, it is much more resource-demanding especially in the context of recent large LMs (LLMs). Consequently, instead of sticking to lifting the curse, leaving the curse as is should be arguably fine. Even better, in this paper, we reveal that the optimal capacity gap is almost consistent across different student scales and architectures, fortunately turning the curse into the law of capacity gap. The law later guides us to distil a 3B student LM (termed MiniMA) from a 7B teacher LM (adapted LLaMA2-7B). MiniMA is demonstrated to yield a new compute-performance pareto frontier among existing 3B LMs on commonly used benchmarks, and its instruction-tuned version (termed MiniChat) outperforms a wide range of 3B competitors in GPT4 evaluation and could even compete with several 7B chat models.
• Abstract（参考訳）: 言語モデル (LM) 蒸留は、大きな教師のLMに居住する知識を小さな学生に消し去ることを目的とした、流行の分野である。 蒸留を限界まで押し上げるための様々な方法が提案されているが、教師と学生のLMの間に大きな容量ギャップが示されるときはまだ、痛みを蒸留するLMである。 この痛みは主にキャパシティギャップの呪いによって引き起こされ、より大きな教師lmはキャパシティギャップインクリメントの影響により、より小さな教師lmから蒸留された生徒lmよりも常に優れた生徒lmを導くことはできない。 つまり、教師LMのスケーリングコースに沿って、最高の学生LMを得る最適なポイントがある可能性が高い。 さらに悪いことに、キャパシティギャップの呪いは、以前の研究で示されたように部分的にしか完全には持ち上げられていない。 しかし、物語は決して一方的ではない。 より大きな教師lmは、より小さな教師lmよりも優れた性能を持つが、特に最近の大きなlms(llms)の文脈では、リソースが要求される。 その結果、呪いを持ち上げる代わりに、呪いをそのままにしておくことは間違いなく問題ない。 さらに,本稿では,最適なキャパシティギャップが,学生のスケールやアーキテクチャによってほぼ一致していることを明らかにし,幸運にもキャパシティギャップの法則に転換した。 その後、この法律は7Bの教師LM(LLaMA2-7B)から3Bの学生LM(MiniMA)を駆除するよう案内します。 MiniMAは、一般的なベンチマークで既存の3B LMの中で新しい計算性能のパレートフロンティアが得られることが実証されており、命令調整されたバージョン(MiniChatと呼ばれる)は、GPT4の評価において幅広い3B競合より優れており、いくつかの7Bチャットモデルと競合する可能性さえある。

関連論文リスト

• PLaD: Preference-based Large Language Model Distillation with Pseudo-Preference Pairs [47.35598271306371]
  大きな言語モデル(LLM)は、様々なタスクにおいて印象的な機能を示しているが、その膨大なパラメータサイズは、リソース制約のある設定での適用性を制限している。 知識蒸留(KD)は、大規模な教師モデルからコンパクトな学生モデルに専門知識を移すことによって、実行可能なソリューションを提供する。 PLaD は新規な嗜好に基づく LLM 蒸留フレームワークである。
  論文  参考訳（メタデータ） (2024-06-05T03:08:25Z)
• Is Bigger and Deeper Always Better? Probing LLaMA Across Scales and Layers [73.28459749681879]
  本稿では,自然言語処理におけるオープンソースの基盤モデルであるLLaMAについて述べる。 LLaMAを生成出力で評価する代わりに、本質的な理解を探索するために複数の選択タスクを設計する。 設計された探索タスクに基づいて、いくつかの重要な発見と珍しい発見を公表する。
  論文  参考訳（メタデータ） (2023-12-07T14:50:41Z)
• Triplet Knowledge Distillation [73.39109022280878]
  知識蒸留(Knowledge Distillation)では、教師は一般的に生徒よりもはるかに大きく、教師の解法は生徒が学ぶのが難しくなる。 模擬困難を緩和するため,TriKDという三重項知識蒸留機構を導入する。
  論文  参考訳（メタデータ） (2023-05-25T12:12:31Z)
• Lifting the Curse of Capacity Gap in Distilling Language Models [19.370268407987652]
  我々は,学生に余分なパラメータを課す最小限の専門家(MiniMoE)の混合を提案するが,追加の推論計算はほとんど導入しない。 圧縮レートが$sim$50$times$で、MiniMoEは教師の$sim$95% GLUEスコアを保存する。
  論文  参考訳（メタデータ） (2023-05-20T07:30:55Z)
• One Teacher is Enough? Pre-trained Language Model Distillation from Multiple Teachers [54.146208195806636]
  本稿では,事前学習型言語モデル圧縮のためのMT-BERTという多言語知識蒸留フレームワークを提案する。 MT-BERTは、複数の教師PLMから高品質な学生モデルを訓練できることを示す。 PLMの圧縮におけるMT-BERTの有効性を3つのベンチマークデータセットで検証した。
  論文  参考訳（メタデータ） (2021-06-02T08:42:33Z)
• Reducing the Teacher-Student Gap via Spherical Knowledge Disitllation [67.75526580926149]
  知識蒸留は、はるかに大きなものから写像関数を学習することにより、コンパクトで効果的なモデルを得ることを目的としている。 本研究では,教師と学生の信頼のギャップを調査し,容量ギャップ問題について検討する。 知識蒸留には信頼度は必要とせず,学生が自信を習得せざるを得ない場合には,学生のパフォーマンスを損なう可能性がある。
  論文  参考訳（メタデータ） (2020-10-15T03:03:36Z)
• Subclass Distillation [94.18870689772544]
  本研究では,教師の一般化能力のほとんどを学生に転移させることが可能であることを示す。 既知の、自然なサブクラスが存在するデータセットに対して、教師が同様のサブクラスを学ぶことを示す。 サブクラスが不明なクリックスルーデータセットの場合、サブクラス蒸留により、学生はより速く、より良く学習できることを示す。
  論文  参考訳（メタデータ） (2020-02-10T16:45:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。