論文の概要: Survey on Knowledge Distillation for Large Language Models: Methods, Evaluation, and Application
- arxiv url: http://arxiv.org/abs/2407.01885v1
- Date: Tue, 2 Jul 2024 02:14:42 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-03 17:03:34.755515
- Title: Survey on Knowledge Distillation for Large Language Models: Methods, Evaluation, and Application
- Title（参考訳）: 大規模言語モデルの知識蒸留に関する調査:方法,評価,応用
- Authors: Chuanpeng Yang, Wang Lu, Yao Zhu, Yidong Wang, Qian Chen, Chenlong Gao, Bingjie Yan, Yiqiang Chen,
- Abstract要約: 大規模言語モデル(LLM)は様々な領域で例外的な機能を示しており、学術と産業の両方から大きな関心を集めている。
精度を維持しながら言語モデルを圧縮する努力は研究の焦点となっている。
知識蒸留は、性能を著しく損なうことなく推論速度を向上する有効な手法として登場した。
- 参考スコア（独自算出の注目度）: 21.555902498178387
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs) have showcased exceptional capabilities in various domains, attracting significant interest from both academia and industry. Despite their impressive performance, the substantial size and computational demands of LLMs pose considerable challenges for practical deployment, particularly in environments with limited resources. The endeavor to compress language models while maintaining their accuracy has become a focal point of research. Among the various methods, knowledge distillation has emerged as an effective technique to enhance inference speed without greatly compromising performance. This paper presents a thorough survey from three aspects: method, evaluation, and application, exploring knowledge distillation techniques tailored specifically for LLMs. Specifically, we divide the methods into white-box KD and black-box KD to better illustrate their differences. Furthermore, we also explored the evaluation tasks and distillation effects between different distillation methods, and proposed directions for future research. Through in-depth understanding of the latest advancements and practical applications, this survey provides valuable resources for researchers, paving the way for sustained progress in this field.
- Abstract（参考訳）: 大規模言語モデル(LLM)は様々な領域で例外的な機能を示しており、学術と産業の両方から大きな関心を集めている。
優れた性能にもかかわらず、LLMのかなりのサイズと計算上の要求は、特に限られた資源を持つ環境での実践的な展開にかなりの困難をもたらす。
精度を維持しながら言語モデルを圧縮する努力は研究の焦点となっている。
様々な方法の中で、知識蒸留は、性能を著しく損なうことなく推論速度を向上する有効な手法として登場した。
本稿では, LLMに特化して開発された知識蒸留技術について, 方法, 評価, 適用の3つの側面から, 徹底的な調査を行った。
具体的には,これらの手法をWhite-box KDとBlack-box KDに分割し,それらの相違点をよりよく説明する。
さらに, 蒸留方法の違いによる評価課題と蒸留効果についても検討し, 今後の研究の方向性について検討した。
最新の進歩と実践的応用の深い理解を通じて、この調査は研究者に貴重な資源を提供し、この分野における継続的な進歩の道を開く。
関連論文リスト
- Exploring Knowledge Boundaries in Large Language Models for Retrieval Judgment [56.87031484108484]
大規模言語モデル(LLM)は、その実践的応用でますます認識されている。
Retrieval-Augmented Generation (RAG)はこの課題に取り組み、LLMに大きな影響を与えている。
中立あるいは有害な結果をもたらす検索要求を最小化することにより、時間と計算コストの両方を効果的に削減できる。
論文 参考訳（メタデータ） (2024-11-09T15:12:28Z) - A Survey of Small Language Models [104.80308007044634]
小言語モデル (SLM) は, 計算資源の最小化による言語タスクの効率化と性能の向上により, ますます重要になってきている。
本稿では,SLMのアーキテクチャ,トレーニング技術,モデル圧縮技術に着目した総合的な調査を行う。
論文 参考訳（メタデータ） (2024-10-25T23:52:28Z) - EVOLvE: Evaluating and Optimizing LLMs For Exploration [76.66831821738927]
大規模言語モデル(LLM)は、不確実性の下で最適な意思決定を必要とするシナリオにおいて、未調査のままである。
多くのアプリケーションに関係のあるステートレス強化学習環境である,帯域幅を最適に決定できる LLM の (in) 能力の測定を行う。
最適な探索アルゴリズムの存在を動機として,このアルゴリズム知識をLLMに統合する効率的な方法を提案する。
論文 参考訳（メタデータ） (2024-10-08T17:54:03Z) - A Survey on Symbolic Knowledge Distillation of Large Language Models [8.237773729114926]
大規模言語モデルにおける記号的知識蒸留の出現と臨界領域に焦点を当てた調査。
知識の深みを理解可能なフォーマットで維持することを含む、中核的な課題について説明する。
この分野で開発された様々なアプローチや技法を精査する。
論文 参考訳（メタデータ） (2024-07-12T12:18:19Z) - C-ICL: Contrastive In-context Learning for Information Extraction [54.39470114243744]
c-ICLは、正しいサンプル構築と間違ったサンプル構築の両方を活用して、コンテキスト内学習のデモを作成する、新しい数ショット技術である。
各種データセットに対する実験により,c-ICLは従来の数発のインコンテキスト学習法よりも優れていたことが示唆された。
論文 参考訳（メタデータ） (2024-02-17T11:28:08Z) - Beyond Efficiency: A Systematic Survey of Resource-Efficient Large Language Models [33.50873478562128]
LLM(Large Language Models)は、計算、メモリ、エネルギー、金融資源の高消費に課題をもたらす。
本調査は, LLMの資源効率向上を目的とした多種多様な手法を概観することにより, これらの課題を体系的に解決することを目的としている。
論文 参考訳（メタデータ） (2024-01-01T01:12:42Z) - The Efficiency Spectrum of Large Language Models: An Algorithmic Survey [54.19942426544731]
LLM(Large Language Models)の急速な成長は、様々なドメインを変換する原動力となっている。
本稿では,LLMのエンドツーエンドのアルゴリズム開発に不可欠な多面的効率性について検討する。
論文 参考訳（メタデータ） (2023-12-01T16:00:25Z) - A Practical Survey on Zero-shot Prompt Design for In-context Learning [0.0]
大規模言語モデル(LLM)は自然言語処理(NLP)タスクを大幅に改善した。
本稿では,異なる種類のプロンプトに着目した,コンテキスト内学習手法の総合的なレビューを行う。
本稿では,手動設計や最適化アルゴリズム,評価手法など,設計を促すための様々なアプローチについて検討する。
論文 参考訳（メタデータ） (2023-09-22T23:00:34Z) - A Survey on Model Compression for Large Language Models [21.768293256849113]
大規模言語モデル(LLM)は自然言語処理タスクをうまく変換した。
しかし、その大きなサイズと高い計算要求は、実用上の課題を提起する。
モデル圧縮はこれらの課題に対処するための重要な研究領域として浮上している。
論文 参考訳（メタデータ） (2023-08-15T08:31:05Z) - MinT: Boosting Generalization in Mathematical Reasoning via Multi-View
Fine-Tuning [53.90744622542961]
数学領域における推論は、小言語モデル(LM)にとって重要な課題である。
多様なアノテーションスタイルで既存の数学的問題データセットを利用する新しい手法を提案する。
実験結果から,LLaMA-7Bモデルが先行手法より優れていることが示された。
論文 参考訳（メタデータ） (2023-07-16T05:41:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。