論文の概要: DDK: Distilling Domain Knowledge for Efficient Large Language Models

• arxiv url: http://arxiv.org/abs/2407.16154v1
• Date: Tue, 23 Jul 2024 03:47:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-24 18:45:39.570472
• Title: DDK: Distilling Domain Knowledge for Efficient Large Language Models
• Title（参考訳）: DDK: 効率的な大規模言語モデルのためのドメイン知識の蒸留
• Authors: Jiaheng Liu, Chenchen Zhang, Jinyang Guo, Yuanxing Zhang, Haoran Que, Ken Deng, Zhiqi Bai, Jie Liu, Ge Zhang, Jiakai Wang, Yanan Wu, Congnan Liu, Wenbo Su, Jiamang Wang, Lin Qu, Bo Zheng,
• Abstract要約: 知識蒸留(KD)は、より小さな言語モデルの性能を向上させる効果的な戦略として登場した。 本稿では,教員モデルと学生モデルとのドメイン性能差に応じて蒸留データセットの構成を調整するDDKについて紹介する。 大規模評価の結果,DDK は学生モデルの性能を著しく向上させ,継続的な事前学習ベースラインと既存の知識蒸留法を大きなマージンで上回る結果となった。
• 参考スコア（独自算出の注目度）: 40.839056203329136
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Despite the advanced intelligence abilities of large language models (LLMs) in various applications, they still face significant computational and storage demands. Knowledge Distillation (KD) has emerged as an effective strategy to improve the performance of a smaller LLM (i.e., the student model) by transferring knowledge from a high-performing LLM (i.e., the teacher model). Prevailing techniques in LLM distillation typically use a black-box model API to generate high-quality pretrained and aligned datasets, or utilize white-box distillation by altering the loss function to better transfer knowledge from the teacher LLM. However, these methods ignore the knowledge differences between the student and teacher LLMs across domains. This results in excessive focus on domains with minimal performance gaps and insufficient attention to domains with large gaps, reducing overall performance. In this paper, we introduce a new LLM distillation framework called DDK, which dynamically adjusts the composition of the distillation dataset in a smooth manner according to the domain performance differences between the teacher and student models, making the distillation process more stable and effective. Extensive evaluations show that DDK significantly improves the performance of student models, outperforming both continuously pretrained baselines and existing knowledge distillation methods by a large margin.
• Abstract（参考訳）: 様々なアプリケーションにおける大規模言語モデル(LLM)の高度なインテリジェンス能力にもかかわらず、それらは依然として重要な計算とストレージの要求に直面している。 知識蒸留(KD)は、高い性能のLSM(教師モデル)から知識を伝達することで、より小さなLSM(学生モデル)の性能を向上させる効果的な戦略として登場した。 LLM蒸留における一般的な技術は、ブラックボックスモデルAPIを使用して高品質な事前訓練と整列データセットを生成したり、損失関数を変更して教師のLLMからの知識の伝達を改善することでホワイトボックス蒸留を利用するのが一般的である。 しかし、これらの手法は、ドメイン間での学生と教師のLLM間の知識差を無視する。 これにより、パフォーマンスのギャップが最小限のドメインに過度に集中し、大きなギャップを持つドメインに十分な注意を払わず、全体的なパフォーマンスが低下する。 本稿では,教師モデルと学生モデルとのドメイン性能の違いに応じて,蒸留データセットの構成をスムーズな方法で動的に調整し,蒸留プロセスをより安定かつ効果的に行う,DDKと呼ばれる新しいLCM蒸留フレームワークを提案する。 大規模評価の結果,DDK は学生モデルの性能を著しく向上させ,継続的な事前学習ベースラインと既存の知識蒸留法を大きなマージンで上回る結果となった。

関連論文リスト

• Multi-Granularity Semantic Revision for Large Language Model Distillation [66.03746866578274]
  LLM蒸留における多粒性セマンティックリビジョン法を提案する。 シーケンスレベルでは、シーケンス修正と再生戦略を提案する。 トークンレベルでは、蒸留目的関数として、Kulback-Leibler損失を補正する分布適応クリッピングを設計する。 スパンレベルでは、シーケンスのスパン前処理を利用して、スパン内の確率相関を計算し、教師と学生の確率相関を一貫性に制約する。
  論文  参考訳（メタデータ） (2024-07-14T03:51:49Z)
• Multi-Stage Balanced Distillation: Addressing Long-Tail Challenges in Sequence-Level Knowledge Distillation [33.21314371624318]
  知識蒸留(KD)は有望なソリューションであり、より大きな教師のLLMからよりコンパクトな学生モデルへの能力の移転を可能にする。 固定予算内でのトレーニングデータを反復的にバランスをとるマルチステージバランス蒸留(BalDistill)フレームワークを導入する。 BalDistillは、様々な長い尾のデータセットにまたがって最先端のパフォーマンスを実現し、蒸留モデルの効率性と有効性を向上させる。
  論文  参考訳（メタデータ） (2024-06-19T00:01:14Z)
• ELAD: Explanation-Guided Large Language Models Active Distillation [16.243249111524403]
  LLM(Large Language Models)のデプロイメントと適用は、そのメモリ非効率性、計算要求、API推論の高コストによって妨げられている。 LLMの能力をより小さなモデルに伝達する伝統的な蒸留法は、知識が十分に伝達されているかどうかを判断できないことが多い。 本稿では,アノテーションコストとモデル性能のバランスを最適化するために,アクティブラーニング戦略を用いた説明誘導型ELAD(Explaination-Guided LLMs Active Distillation)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-20T15:47:59Z)
• Towards Cross-Tokenizer Distillation: the Universal Logit Distillation Loss for LLMs [12.412075695071529]
  知識蒸留は、資源集約型の大規模モデルからより小さなモデルへの知識を圧縮することで解を提供する。 我々は,この制限に対処するため,最適輸送を前提としたユニバーサルロジット蒸留(ULD)損失を導入する。
  論文  参考訳（メタデータ） (2024-02-19T10:37:29Z)
• Progressive Distillation Based on Masked Generation Feature Method for Knowledge Graph Completion [29.297959023968165]
  そこで本稿では,KGCタスクのためのマスク生成機能に基づくプログレッシブ蒸留法を提案する。 具体的には、PLMの予蒸留を行い、高品質の教師モデルを取得し、PLMネットワークを圧縮し、マルチグレードの学生モデルを得る。 実験により, 予蒸留段階のモデルが, 既存の最先端手法を超越していることが実証された。
  論文  参考訳（メタデータ） (2024-01-19T07:34:36Z)
• Retrieval-based Knowledge Transfer: An Effective Approach for Extreme Large Language Model Compression [64.07696663255155]
  大規模事前学習型言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて例外的な性能を示した。 しかし、これらのモデルの巨大なサイズは、現実世界のアプリケーションに展開する上で大きな課題をもたらします。 本稿では,LLMの知識を極めて小規模なモデルに効果的に伝達するRetrieval-based Knowledge Transfer (RetriKT)と呼ばれる新しい圧縮パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-10-24T07:58:20Z)
• MiniLLM: Knowledge Distillation of Large Language Models [112.93051247165089]
  知識蒸留(KD)は,大規模言語モデル(LLM)の高い計算要求を低減させる,有望な手法である。 より小さな言語モデルにLPMを蒸留するKD手法を提案する。 提案手法は,120Mから13Bのパラメータを持つ異なるモデルファミリに対してスケーラブルである。
  論文  参考訳（メタデータ） (2023-06-14T14:44:03Z)
• Distilling Step-by-Step! Outperforming Larger Language Models with Less Training Data and Smaller Model Sizes [91.58845026796149]
  大規模言語モデルを上回る小さなモデルを訓練する新しいメカニズムであるDistilling Step-by-stepを導入する。 4つのNLPベンチマークで3つの結果を得た。
  論文  参考訳（メタデータ） (2023-05-03T17:50:56Z)
• Self-Feature Regularization: Self-Feature Distillation Without Teacher Models [0.0]
  浅層層における機能学習を監督するために深層の特徴を用いるセルフフィーチャー正規化(sfr)を提案する。 まず,局所的な特徴にマッチする一般化l2損失と,チャネル次元においてより集中的に蒸留する多対一の手法を用いる。
  論文  参考訳（メタデータ） (2021-03-12T15:29:00Z)
• Learning to Augment for Data-Scarce Domain BERT Knowledge Distillation [55.34995029082051]
  本稿では,データスカース領域BERT知識蒸留のための拡張学習法を提案する。 提案手法が4つの異なるタスクにおける最先端のベースラインを大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2021-01-20T13:07:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。