論文の概要: Knowledge Distillation of Large Language Models
- arxiv url: http://arxiv.org/abs/2306.08543v3
- Date: Tue, 12 Mar 2024 16:15:19 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-14 02:03:23.611516
- Title: Knowledge Distillation of Large Language Models
- Title(参考訳): 大規模言語モデルの知識蒸留
- Authors: Yuxian Gu, Li Dong, Furu Wei, Minlie Huang
- Abstract要約: 知識蒸留(KD)は,大規模言語モデル(LLM)の高い計算要求を低減させる,有望な手法である。
より小さな言語モデルにLPMを蒸留するKD手法を提案する。
提案手法は,120Mから13Bのパラメータを持つ異なるモデルファミリに対してスケーラブルである。
- 参考スコア(独自算出の注目度): 123.36847200257805
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Knowledge Distillation (KD) is a promising technique for reducing the high
computational demand of large language models (LLMs). However, previous KD
methods are primarily applied to white-box classification models or training
small models to imitate black-box model APIs like ChatGPT. How to effectively
distill the knowledge of white-box LLMs into small models is still
under-explored, which becomes more important with the prosperity of open-source
LLMs. In this work, we propose a KD approach that distills LLMs into smaller
language models. We first replace the forward Kullback-Leibler divergence (KLD)
objective in the standard KD approaches with reverse KLD, which is more
suitable for KD on generative language models, to prevent the student model
from overestimating the low-probability regions of the teacher distribution.
Then, we derive an effective optimization approach to learn this objective. The
student models are named MiniLLM. Extensive experiments in the
instruction-following setting show that MiniLLM generates more precise
responses with higher overall quality, lower exposure bias, better calibration,
and higher long-text generation performance than the baselines. Our method is
scalable for different model families with 120M to 13B parameters. Our code,
data, and model checkpoints can be found in
https://github.com/microsoft/LMOps/tree/main/minillm.
- Abstract(参考訳): 知識蒸留 (KD) は, 大規模言語モデル (LLM) の高い計算需要を減らすための有望な手法である。
しかしながら、従来のKDメソッドは、主にホワイトボックス分類モデルや、ChatGPTのようなブラックボックスモデルAPIを模倣する小さなモデルの訓練に適用される。
ホワイトボックスLSMの知識を小さなモデルに効果的に蒸留する方法はまだ未発見であり、オープンソースLSMの繁栄によりより重要になる。
本研究では,LLMをより小さな言語モデルに蒸留するKD手法を提案する。
我々はまず,教師分布の低確率領域を過大評価しないように,生成言語モデル上でKDに適した逆KLDを用いて,標準KDアプローチにおけるKLL(Kulback-Leibler divergence)目標のフォワードを置き換える。
そして、この目的を学習するための効果的な最適化アプローチを導出する。
学生モデルはMiniLLMと名付けられた。
命令追従設定における広範囲な実験により、MiniLLMはベースラインよりも高い全体的な品質、低い露出バイアス、キャリブレーション、高い長文生成性能でより正確な応答を生成することが示された。
提案手法は,120Mから13Bのパラメータを持つ異なるモデルファミリーに対してスケーラブルである。
コード、データ、モデルチェックポイントはhttps://github.com/microsoft/LMOps/tree/main/minillm.comで確認できます。
関連論文リスト
- Revisiting Knowledge Distillation for Autoregressive Language Models [94.09543805992233]
知識蒸留(KD)を改善するための簡易かつ効果的な適応型教育法(ATKD)を提案する。
ATKDの中核は、ロート学習を減らし、教育をより多様で柔軟なものにすることだ。
8つのLMタスクの実験は、ATKDの助けを借りて、様々なベースラインのKD手法が一貫した、重要なパフォーマンス向上を達成することを示した。
論文 参考訳(メタデータ) (2024-02-19T07:01:10Z) - Retrieval-based Knowledge Transfer: An Effective Approach for Extreme
Large Language Model Compression [64.07696663255155]
大規模事前学習型言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて例外的な性能を示した。
しかし、これらのモデルの巨大なサイズは、現実世界のアプリケーションに展開する上で大きな課題をもたらします。
本稿では,LLMの知識を極めて小規模なモデルに効果的に伝達するRetrieval-based Knowledge Transfer (RetriKT)と呼ばれる新しい圧縮パラダイムを提案する。
論文 参考訳(メタデータ) (2023-10-24T07:58:20Z) - Distilling Step-by-Step! Outperforming Larger Language Models with Less
Training Data and Smaller Model Sizes [91.58845026796149]
大規模言語モデルを上回る小さなモデルを訓練する新しいメカニズムであるDistilling Step-by-stepを導入する。
4つのNLPベンチマークで3つの結果を得た。
論文 参考訳(メタデータ) (2023-05-03T17:50:56Z) - A Cohesive Distillation Architecture for Neural Language Models [0.0]
自然言語処理の最近のトレンドは、言語モデル(LM)のサイズが指数関数的に増加することである。
本研究では,大規模モデルの効率的な代替手段を提供するために,知識蒸留法(KD)について検討する。
論文 参考訳(メタデータ) (2023-01-12T08:01:53Z) - Knowledge Distillation with Representative Teacher Keys Based on
Attention Mechanism for Image Classification Model Compression [1.503974529275767]
知識蒸留(KD)はモデルパラメータを減らすためのモデル圧縮の効果的な方法の1つとして認識されている。
注意機構にヒントを得て,代表教師キー(RTK)と呼ばれる新しいKD手法を提案する。
提案するRTKは,最先端の注意に基づくKD手法の分類精度を効果的に向上させることができる。
論文 参考訳(メタデータ) (2022-06-26T05:08:50Z) - Self-Feature Regularization: Self-Feature Distillation Without Teacher
Models [0.0]
浅層層における機能学習を監督するために深層の特徴を用いるセルフフィーチャー正規化(sfr)を提案する。
まず,局所的な特徴にマッチする一般化l2損失と,チャネル次元においてより集中的に蒸留する多対一の手法を用いる。
論文 参考訳(メタデータ) (2021-03-12T15:29:00Z) - Localization Distillation for Object Detection [79.78619050578997]
物体検出のためのローカライズ蒸留(LD)を提案する。
我々のldは、バウンディングボックスの一般局在表現を採用することで標準kdとして定式化することができる。
教師モデルと学生モデルとのギャップを埋めるための教師アシスタント(TA)戦略を提案します。
論文 参考訳(メタデータ) (2021-02-24T12:26:21Z) - MixKD: Towards Efficient Distillation of Large-scale Language Models [129.73786264834894]
データに依存しない蒸留フレームワークであるMixKDを提案する。
妥当な条件下では、MixKDは誤差と経験的誤差の間のギャップを小さくする。
限定的なデータ設定とアブレーションによる実験は、提案手法の利点をさらに証明している。
論文 参考訳(メタデータ) (2020-11-01T18:47:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。