論文の概要: KDFP: A first-principles approach to knowledge distillation in large language models

• arxiv url: http://arxiv.org/abs/2610.10854v1
• Date: Wed, 07 Oct 2026 19:59:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.647506
• Title: KDFP: A first-principles approach to knowledge distillation in large language models
• Title（参考訳）: KDFP:大規模言語モデルにおける知識蒸留への第一原理的アプローチ
• Abstract要約: 我々は, LLMの白箱一般知識蒸留法であるKDFPについて述べる。 我々は、KDFPが既存の手法を9つのベンチマークで1.6%$-4.9%で上回り、短命パラメータ還元によりトレーニング効率を最大99.1%向上することを示した。
• 参考スコア（独自算出の注目度）: 2.4851388650413866
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowledge distillation is an established technique for improving the capabilities of small, efficient student models by training them with the representations of larger, more capable teacher models. Much of the recent work in the distillation of large language models (LLMs) has focused on distilling abilities learned during post-training, such as instruction following, chain-of-thought reasoning, and tool usage. This has left a large research gap in general knowledge distillation for LLMs, which is essential for developing efficient and private systems suitable for deployment on edge devices. We take a first-principles approach, evaluating previous lessons from prior works and conducting new explorations to develop a distillation methodology suitable for modern LLMs. We present KDFP, a novel methodology for white-box general knowledge distillation in LLMs. We demonstrate that KDFP outperforms existing methods by 1.6% $-$ 4.9% across 9 benchmarks while increasing training efficiency by up to 99.1% through ephemeral parameter reduction.
• Abstract（参考訳）: 知識蒸留は、より大きく、より有能な教師モデルの表現で学習することで、小規模で効率的な学生モデルの能力を向上させるための確立された技術である。 大規模言語モデル(LLMs)の蒸留における最近の研究の多くは、訓練後の学習能力の蒸留に焦点を当てている。 これは、エッジデバイスへの展開に適した効率的でプライベートなシステムの開発に不可欠であるLSMの一般知識蒸留において、大きな研究ギャップを残している。 我々は,先駆的なアプローチを採り,先行研究から得た教訓を評価し,新しい調査を行い,近代LLMに適した蒸留方法を開発した。 我々は, LLMの白箱一般知識蒸留法であるKDFPについて述べる。 我々は、KDFPが既存の手法を9ベンチマークで1.6%=4.9%で上回り、短命パラメータ還元によりトレーニング効率を最大99.1%向上することを示した。

関連論文リスト

• On-Policy Context Distillation for Language Models [92.82835176360864]
  本稿では, オンライン蒸留とコンテキスト蒸留を橋渡しするフレームワークである, オン・ポリティ・コンテキスト蒸留(OPCD)を提案する。 実験的知識蒸留とシステム急速蒸留の2つの重要な応用におけるOPCDの有効性を実証する。
  論文  参考訳（メタデータ） (2026-02-12T18:58:28Z)
• Pedagogically-Inspired Data Synthesis for Language Model Knowledge Distillation [63.302074484672424]
  本稿では,知識蒸留のための教育的な枠組みを提案する。 提案手法は,学生モデルにおける知識不足を識別し,進歩的カリキュラムを通して知識提供を組織化し,学生モデルの認知能力に合わせた表現を適応させる。 我々のフレームワークは特に複雑な推論タスクに優れており、最先端のベースラインと比較してMATHが19.2%、HumanEvalが22.3%改善している。
  論文  参考訳（メタデータ） (2026-02-12T17:00:36Z)
• Exploring Knowledge Purification in Multi-Teacher Knowledge Distillation for LLMs [30.543860587982895]
  我々は,複数のLLM教師の合理性を1つの合理化に集約するtextbfKnowledge Purificationの概念を導入する。 実験により, これらの手法は蒸留モデルの性能を向上させるだけでなく, 知識衝突を効果的に軽減することを示した。
  論文  参考訳（メタデータ） (2026-02-01T07:19:57Z)
• Honey, I Shrunk the Language Model: Impact of Knowledge Distillation Methods on Performance and Explainability [3.224880576815583]
  大規模言語モデルの高い計算とストレージ要求は、リソース制約のある環境への展開を制限する。 これまでの研究では, 学習データの生成と学生モデルの訓練のための蒸留法がいくつか導入されている。 その関連性にも拘わらず, 現状蒸留法がモデル性能および説明可能性に与える影響については, 十分に検討されていない。
  論文  参考訳（メタデータ） (2025-04-22T17:32:48Z)
• Efficient Knowledge Injection in LLMs via Self-Distillation [50.24554628642021]
  本稿では, 急速蒸留を利用して, 自由形式文書から新たな事実知識を内包する手法を提案する。 急速蒸留は標準的な微調整よりも優れており,RAGを超越することさえ可能であることを示す。
  論文  参考訳（メタデータ） (2024-12-19T15:44:01Z)
• Pre-training Distillation for Large Language Models: A Design Space Exploration [54.67324039434781]
  予習蒸留は、大きな教師モデルからより小さな学生モデルに知識を移すことを目的としている。 我々は, プレトレーニング蒸留の設計空間を探索し, より良い構成を求める実験を行った。 我々は, 設計分野の探究が, 予修蒸留の今後の実践に影響を及ぼすことを期待している。
  論文  参考訳（メタデータ） (2024-10-21T17:16:13Z)
• Monte Carlo Tree Search Boosts Reasoning via Iterative Preference Learning [55.96599486604344]
  本稿では,Large Language Models (LLMs) の推論能力向上を目的とした,反復的な選好学習プロセスによるアプローチを提案する。 我々は、MCTS(Monte Carlo Tree Search)を用いて好みデータを反復的に収集し、そのルックアヘッド機能を利用して、インスタンスレベルの報酬をよりきめ細かいステップレベルの信号に分解する。 提案アルゴリズムはDPO(Direct Preference Optimization)を用いて,新たに生成されたステップレベルの優先度データを用いてLCMポリシーを更新する。
  論文  参考訳（メタデータ） (2024-05-01T11:10:24Z)
• Mixed Distillation Helps Smaller Language Model Better Reasoning [27.934081882868902]
  本稿では,大規模言語モデル (LLM) におけるプログラム・オブ・シント (PoT) とチェーン・オブ・シント (CoT) の強みを生かした混合蒸留 (MD) フレームワークを紹介する。 実験の結果, MDは, 様々なタスクにおいて, より小さなモデルのシングルパスとマルチパス推論能力を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2023-12-17T14:28:28Z)
• Instruction Distillation Makes Large Language Models Efficient Zero-shot Rankers [56.12593882838412]
  本稿では,文書のランク付けのための新しい命令蒸留手法を提案する。 まず、複雑な命令で効果的なペアワイズ手法を用いて文書をランク付けし、簡単な指示で教師の予測をポイントワイズ方式で抽出する。 提案手法は,MonoT5のような既存の教師付きメソッドの性能を超越し,最先端のゼロショット手法と同等である。
  論文  参考訳（メタデータ） (2023-11-02T19:16:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。