論文の概要: WASD: Wasserstein-based Knowledge Distillation for Large Language Models

• arxiv url: http://arxiv.org/abs/2610.07706v1
• Date: Tue, 06 Oct 2026 03:58:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.791959
• Title: WASD: Wasserstein-based Knowledge Distillation for Large Language Models
• Title（参考訳）: WASD:Wassersteinをベースとした大規模言語モデルのための知識蒸留
• Abstract要約: 大規模言語モデル(LLM)のためのWassersteinベースの知識蒸留(WASD)を提案する。 トークンレベルのセマンティック情報は、ワッサーシュタインに基づく距離を経由し、トークン埋め込みから派生したコスト行列が組み込まれている。 WASDは命令追従,数学的推論,コード生成など,多種多様なタスクにおける蒸留性能を一貫して向上することを示す。
• 参考スコア（独自算出の注目度）: 28.320219993420434
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Autoregressive large language models (LLMs) have rapidly advanced in capability, but their increasing scale comes with substantial computational and memory costs at inference time. Knowledge distillation (KD) offers a practical solution by transferring knowledge from a large teacher model to a smaller student model via alignment of discrete probability distributions. However, existing KD methods for LLMs primarily rely on divergences that evaluate discrepancies through probability values at each vocabulary index, without explicitly leveraging token-level semantic information. We propose Wasserstein-based knowledge distillation (WASD) for LLMs, which incorporates token-level semantic information via the Wasserstein-based distance with a cost matrix derived from token embeddings. To ensure computational tractability, we adopt the Sinkhorn divergence and derive a gradient-equivalent objective that can be efficiently optimized without introducing additional networks. Experiments across multiple LLM families and scales show that WASD consistently improves distillation performance on diverse tasks, including instruction following, mathematical reasoning, and code generation. Our results highlight the importance of semantic information encoded in the token space for effective distribution alignment in LLM distillation. The implementation is publicly available at https://github.com/aailab-kaist/WASD .
• Abstract（参考訳）: 自己回帰型大規模言語モデル(LLM)は急速に能力向上しているが、その規模は増大し、推論時にかなりの計算コストとメモリコストがかかる。 知識蒸留(KD)は、個別確率分布のアライメントを通じて、大きな教師モデルからより小さな学生モデルに知識を移すことによって、実践的なソリューションを提供する。 しかし, LLMの既存のKD法は, トークンレベルの意味情報を明示的に活用することなく, 各語彙指数の確率値による相違性の評価に大きく依存している。 本稿では,トークン埋め込みから得られたコスト行列を用いて,トークンレベルの意味情報をWassersteinベース距離を介して組み込んだLLMのためのWassersteinベースの知識蒸留(WASD)を提案する。 計算的トラクタビリティを確保するため、Sinkhornの発散を採用し、追加のネットワークを導入することなく効率よく最適化できる勾配等価な目的を導出する。 複数のLLMファミリーとスケールにわたる実験により、WASDは命令追従、数学的推論、コード生成など、様々なタスクにおける蒸留性能を一貫して改善することが示された。 以上の結果から, LLM蒸留における有効分散アライメントのためのトークン空間に符号化された意味情報の重要性を強調した。 実装はhttps://github.com/aailab-kaist/WASDで公開されている。

関連論文リスト

• Dual-Space Knowledge Distillation with Key-Query Matching for Large Language Models with Vocabulary Mismatch [2.752817022620644]
  大規模言語モデル(LLM)は、言語タスク全体にわたって最先端(SOTA)のパフォーマンスを達成するが、そのサイズとリソース要求のため、デプロイにはコストがかかる。 知識蒸留(KD)は、より小さな学生モデルを訓練して、より大きな教師モデルを模倣し、大きなパフォーマンス損失を伴わずに効率を向上することで、この問題に対処する。
  論文  参考訳（メタデータ） (2026-03-23T14:53:55Z)
• Distillation of Large Language Models via Concrete Score Matching [28.320219993420434]
  大規模言語モデル (LLM) は優れた性能を提供するが、効率的な推論のための知識蒸留 (KD) の展開に費用がかかる。 本稿では,ソフトマックスによる平滑化と最適解集合の制約を克服する離散的なスコアマッチング手法を提案する。 実験により、CSDは最近のKD目標を一貫して上回り、良好なフィデリティと多様性のトレードオフを達成し、オン・ポリティの技法と組み合わせることで補完的な利益を得ることが示された。
  論文  参考訳（メタデータ） (2025-09-30T06:21:28Z)
• Learning with Less: Knowledge Distillation from Large Language Models via Unlabeled Data [54.934578742209716]
  現実世界のNLPアプリケーションでは、Large Language Models (LLMs) は巨大なデータセットの広範なトレーニングのために、有望なソリューションを提供する。 LLKDは、教師と学生の両方の信号を組み込んだ適応的なサンプル選択法である。 総合的な実験により,LLKDは高いデータ効率で,様々なデータセットで優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-11-12T18:57:59Z)
• From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
  本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。 我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
  論文  参考訳（メタデータ） (2023-08-23T09:45:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。