論文の概要: EasyDistill: A Comprehensive Toolkit for Effective Knowledge Distillation of Large Language Models

• arxiv url: http://arxiv.org/abs/2505.20888v1
• Date: Tue, 27 May 2025 08:32:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-28 17:05:58.516927
• Title: EasyDistill: A Comprehensive Toolkit for Effective Knowledge Distillation of Large Language Models
• Title（参考訳）: EasyDistill: 大規模言語モデルの効果的な知識蒸留のための総合ツールキット
• Authors: Chengyu Wang, Junbing Yan, Wenrui Cai, Yuanhao Yue, Jun Huang,
• Abstract要約: 大規模言語モデル(LLM)の効果的なブラックボックスおよびホワイトボックス知識蒸留(KD)のための総合ツールキットであるEasyDistillを提案する。 我々のフレームワークは、データ合成、教師付き微調整、ランキング最適化、強化学習技術など多機能な機能を提供している。 EasyDistillは、研究者や業界の実践者がLLMのKD戦略をシームレスに実験し、実装できるようにする。
• 参考スコア（独自算出の注目度）: 10.272872832446742
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we present EasyDistill, a comprehensive toolkit designed for effective black-box and white-box knowledge distillation (KD) of large language models (LLMs). Our framework offers versatile functionalities, including data synthesis, supervised fine-tuning, ranking optimization, and reinforcement learning techniques specifically tailored for KD scenarios. The toolkit accommodates KD functionalities for both System 1 (fast, intuitive) and System 2 (slow, analytical) models. With its modular design and user-friendly interface, EasyDistill empowers researchers and industry practitioners to seamlessly experiment with and implement state-of-the-art KD strategies for LLMs. In addition, EasyDistill provides a series of robust distilled models and KD-based industrial solutions developed by us, along with the corresponding open-sourced datasets, catering to a variety of use cases. Furthermore, we describe the seamless integration of EasyDistill into Alibaba Cloud's Platform for AI (PAI). Overall, the EasyDistill toolkit makes advanced KD techniques for LLMs more accessible and impactful within the NLP community.
• Abstract（参考訳）: 本稿では,大規模言語モデル(LLM)の効率的なブラックボックスおよびホワイトボックス知識蒸留(KD)のための総合ツールキットであるEasyDistillを提案する。 我々のフレームワークは、データ合成、教師付き微調整、ランキング最適化、特にKDシナリオに適した強化学習技術など、多種多様な機能を提供します。 このツールキットは、システム1(高速で直感的)とシステム2(低速で解析的)の両方のKD機能に対応している。 モジュールデザインとユーザフレンドリなインターフェースにより、EasyDistillは研究者や業界の実践者たちに、LLMの最先端KD戦略をシームレスに実験し、実装することを可能にする。 さらにEasyDistillは、私たちが開発した堅牢な蒸留モデルとKDベースの産業ソリューションと、それに対応するオープンソースデータセットを提供し、さまざまなユースケースに対応しています。 さらに,Alibaba CloudのAIプラットフォーム(PAI)へのEasyDistillのシームレスな統合について述べる。 全体として、EasyDistillツールキットは、LPMの高度なKDテクニックを、NLPコミュニティ内でよりアクセスしやすく、影響を受けやすいものにしている。

関連論文リスト

• ToolACE-DEV: Self-Improving Tool Learning via Decomposition and EVolution [77.86222359025011]
  ツール学習のための自己改善フレームワークであるToolACE-DEVを提案する。 まず、ツール学習の目的を、基本的なツール作成とツール利用能力を高めるサブタスクに分解する。 次に、軽量モデルによる自己改善を可能にする自己進化パラダイムを導入し、高度なLCMへの依存を減らす。
  論文  参考訳（メタデータ） (2025-05-12T12:48:30Z)
• DistilQwen2.5: Industrial Practices of Training Distilled Open Lightweight Language Models [10.34623505096336]
  一般向けQwen2.5モデルから派生した蒸留軽量言語モデル(LLM)のファミリーであるDistilQwen2.5を紹介する。 これらのモデルは、オリジナルのモデルと比較して、強化された命令追従能力を示す。 実用的な使用を容易にするため、DistilQwen2.5のモデルをオープンソースコミュニティにリリースしました。
  論文  参考訳（メタデータ） (2025-04-21T11:26:02Z)
• Active Data Curation Effectively Distills Large-Scale Multimodal Models [66.23057263509027]
  知識蒸留(KD)は、大規模モデルをより小さなものに圧縮するデファクトスタンダードである。 本研究では, 対照的なマルチモーダル事前学習のための効果的な蒸留法として, 能動的データキュレーションの代替として, 簡単なアプローチを探求する。 我々の単純なオンラインバッチ選択方法であるACIDは、さまざまなモデル、データ、計算構成において、強力なKDベースラインよりも優れています。
  論文  参考訳（メタデータ） (2024-11-27T18:50:15Z)
• UltraEval: A Lightweight Platform for Flexible and Comprehensive Evaluation for LLMs [74.1976921342982]
  本稿では,ユーザフレンドリな評価フレームワークであるUltraEvalを紹介し,その軽量性,包括性,モジュール性,効率性を特徴とする。 その結果のコンポーザビリティにより、統一された評価ワークフロー内で、さまざまなモデル、タスク、プロンプト、ベンチマーク、メトリクスを自由に組み合わせることができる。
  論文  参考訳（メタデータ） (2024-04-11T09:17:12Z)
• ESPnet-SPK: full pipeline speaker embedding toolkit with reproducible recipes, self-supervised front-ends, and off-the-shelf models [51.35570730554632]
  ESPnet-SPKは、話者埋め込み抽出器を訓練するためのツールキットである。 我々は、x-vectorから最近のSKA-TDNNまで、いくつかのモデルを提供している。 開発モデルと他のドメインとの橋渡しも目指しています。
  論文  参考訳（メタデータ） (2024-01-30T18:18:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。