論文の概要: Distribution Corrected Offline Data Distillation for Large Language Models
- arxiv url: http://arxiv.org/abs/2605.14071v1
- Date: Wed, 13 May 2026 19:47:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-15 21:45:34.486491
- Title: Distribution Corrected Offline Data Distillation for Large Language Models
- Title（参考訳）: 大規模言語モデルのための分布補正オフラインデータ蒸留法
- Authors: Yumeng Zhang, Zhengbang Yang, Yevin Nikhel Goonatilake, Zhuangdi Zhu,
- Abstract要約: 強力な大規模言語モデルから小さなものへの推論トレースを蒸留することは、リソース制約された設定におけるインテリジェンスを改善するための有望な方法である。
教師が生成したトレースからのオフライン蒸留は、高品質でサンプル効率の高い監視を提供するが、分散的ドリフトに悩まされる。
そこで本研究では,教師の分散ドリフトを補正しつつ,教師が生成するオフラインデータの効率性と監督品質を保ちつつ,教師の分散ドリフトを補正する原理的オフライン推論蒸留フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 8.778789513095907
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Distilling reasoning traces from strong large language models into smaller ones is a promising route to improve intelligence in resource-constrained settings. Existing approaches face a fundamental trade-off: offline distillation from teacher-generated traces provides high-quality, sample-efficient supervision but suffers from distributional drift: during training, the student model conditions on teacher-generated prefixes, whereas during inference the student autoregresses on self-generated prefixes, leading to compounding errors over long reasoning trajectories. Meanwhile, on-policy or self-distillation methods better match the student's inference-time distribution, but require costly online sampling and often produce low-quality traces in early training. We propose a principled offline reasoning distillation framework that preserves the efficiency and supervision quality of offline teacher-generated data while correcting teacher-student distribution drift. It adaptively emphasizes teacher supervision that is better aligned with the student's on-policy distribution. Evaluations on mathematical reasoning benchmarks of GSM8K, MATH, MATH500, and harder held-out competition-style tasks, including AMC, AIME, and OlympiadBench, show that our method improves reasoning accuracy over prior offline distillation algorithms and yields more stable reasoning traces while preserving instruction-following capabilities. Our work shows that lightweight, distribution-correction-aware training can substantially strengthen offline reasoning distillation without online rollouts.
- Abstract（参考訳）: 強力な大規模言語モデルから小さなものへの推論トレースを蒸留することは、リソース制約された設定におけるインテリジェンスを改善するための有望な方法である。
教師生成トレースからのオフライン蒸留は、高品質でサンプル効率のよい監視を提供するが、分散ドリフトに苦しむ:訓練中は、教師生成プレフィックスの学生モデル条件が、推論中は、自己生成プレフィックスの学生自己回帰が、長い推論軌跡の複雑なエラーを引き起こす。
一方、オンラインまたは自己蒸留法は、学生の推論時間分布によく適合するが、オンラインでのサンプリングに費用がかかるため、初期のトレーニングでは低品質のトレースを生成することが多い。
そこで本研究では,教師の分散ドリフトを補正しつつ,教師が生成するオフラインデータの効率性と監督品質を保ちつつ,教師の分散ドリフトを補正する原理的オフライン推論蒸留フレームワークを提案する。
教師の監督に適応的に重点を置いており、生徒のオンライン配信に適合している。
GSM8K, MATH, MATH500, およびAMC, AIME, OlympiadBenchなどの厳密な競合型タスクの数学的推論ベンチマークの評価は, 従来のオフライン蒸留アルゴリズムよりも精度を向上し, 命令追従能力を保ちながら, より安定した推論トレースが得られることを示す。
我々の研究は、オンラインロールアウトなしでオフライン推論蒸留を効果的に強化できる、軽量で分布補正対応のトレーニングを示す。
関連論文リスト
- Prefix Teach, Suffix Fade: Local Teachability Collapse in Strong-to-Weak On-Policy Distillation [49.117085054884676]
オンライン蒸留は、より強い教師からの強いフィードバックを使って、学生モデルを独自のロールアウトで訓練する。
我々は、この原則を軌跡固有のリリースルールで運用する。
強弱蒸留作業による実験結果から, この放出規則は標準全軌道PDよりも一貫して優れていたことが示唆された。
論文 参考訳（メタデータ） (2026-05-13T15:05:30Z) - Validity-Calibrated Reasoning Distillation [4.277471273303775]
推論蒸留は、大規模言語モデルからより小さく、より効率的なものへの多段階推論能力を伝達することを目的としている。
近年の手法は静的教師の階層化と軌道模倣としてのフレーム蒸留に依存している。
本稿では, 局所的な学習信号割り当ての問題として, 推論蒸留を取り扱う枠組みである妥当性校正推論蒸留を提案する。
論文 参考訳（メタデータ） (2026-04-14T12:32:12Z) - Learning from Partial Chain-of-Thought via Truncated-Reasoning Self-Distillation [15.338493974763471]
本稿では,部分的推論トレースから正しい予測を生成するための軽量なポストトレーニング手法であるTrncated-Reasoning Self-Distillation(TRSD)を紹介する。
TRSDは, 様々な推論モデルに適用した場合, 精度のトレードオフをはるかに低減し, 絡み合った推論に対するロバスト性の向上を実証する。
論文 参考訳（メタデータ） (2026-02-27T06:08:22Z) - Reinforcement-aware Knowledge Distillation for LLM Reasoning [63.53679456364683]
強化学習(Reinforcement Learning, RL)ポストトレーニングは、最近、大型言語モデル(LLM)の長いチェーン・オブ・プリーティングにおいて、進歩をもたらした。
既存の知識蒸留法の多くは、教師による微調整(SFT)のために設計されており、固定された教師のトレースや教師の学生であるKulback-Leibler(KL)の発散に基づく正規化に依存している。
本稿では,RLにおける選択的な模倣を行うRL-aware distillation (RLAD)を提案する。
論文 参考訳（メタデータ） (2026-02-26T00:20:39Z) - Self-Distilled Reasoner: On-Policy Self-Distillation for Large Language Models [44.041109669153506]
On-Policy Self-Distillation (OPSD) は、教師と学生の両方がひとつのモデルで、異なるコンテキストを条件付けして機能するフレームワークである。
複数の数学的推論ベンチマークにおいて,本手法の有効性を示す。
論文 参考訳（メタデータ） (2026-01-26T17:56:50Z) - Long-Chain Reasoning Distillation via Adaptive Prefix Alignment [57.130176131042965]
本稿では,教師のCoTを適応的接頭辞アライメントによる蒸留に活用するフレームワークを提案する。
P-ALIGNは、残りの接尾辞が簡潔かどうかを判断することで、教師生成の推論軌道を適応的に切り離す。
複数の数学的推論ベンチマークの実験では、P-ALIGNはすべてのベースラインを3%以上上回っている。
論文 参考訳（メタデータ） (2026-01-15T04:40:45Z) - Distribution-Aligned Sequence Distillation for Superior Long-CoT Reasoning [48.041170200238206]
DASD-4B-Thinkingは軽量で高機能で完全なオープンソース推論モデルである。
これは、数学、科学的推論、コード生成の挑戦的なベンチマークにおいて、同等規模のオープンソースのモデル間でSOTA性能を達成する。
論文 参考訳（メタデータ） (2026-01-14T02:43:17Z) - AdaSwitch: Adaptive Switching Generation for Knowledge Distillation [58.647880811071495]
スモール言語モデル(SLM)は、厳密な待ち時間と計算制約のあるアプリケーションには不可欠である。
トークンレベルでのオン・ポリティクスとオフ・ポリティクス・ジェネレーションを組み合わせた新しいアプローチであるAdaSwitchを提案する。
AdaSwitchは一貫して精度を向上し、SLMを蒸留するための実用的で効果的な方法を提供し、追加のオーバーヘッドを許容する。
論文 参考訳（メタデータ） (2025-10-09T06:38:37Z) - Learning from Stochastic Teacher Representations Using Student-Guided Knowledge Distillation [64.15918654558816]
教師表現のフィルタリングと重み付けのための自己蒸留(SSD)訓練戦略を導入し,タスク関連表現のみから抽出する。
UCR Archiveのウェアラブル/バイオサインデータセット、HARデータセット、画像分類データセットなどの実世界の感情コンピューティングに関する実験結果は、提案したSSD手法が最先端の手法より優れていることを示している。
論文 参考訳（メタデータ） (2025-04-19T14:08:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。