論文の概要: Recursive Offline Distillation via Entropy Gain Sampling and Answer Mixing

• arxiv url: http://arxiv.org/abs/2610.20914v1
• Date: Wed, 14 Oct 2026 20:45:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.06782
• Title: Recursive Offline Distillation via Entropy Gain Sampling and Answer Mixing
• Title（参考訳）: エントロピーゲインサンプリングとアンサーミキシングによる再帰オフライン蒸留
• Abstract要約: 本研究では, 選択蒸留法と解答混合法という, エントロピー法を併用したオフライン蒸留法を提案する。 当社のアプローチは、データ予算に匹敵するナイーブ蒸留を一貫して上回ります。
• 参考スコア（独自算出の注目度）: 1.2705497505821106
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Distillation of reasoning chains from Large Language Models (LLMs) into their smaller siblings is a standard training approach. Frequently, researchers do not have full access to a teacher model and its internal representations, which limits the resulting performance. We propose a recursive offline distillation method combining two components: entropy-based sampling for selective distillation and answer mixing. Specifically, for three open models (3-4B), at each epoch, we sample reasoning chains weighted by entropy difference with an auxiliary medium model (70-72B) and, next, supplement thinking traces with single-token ground truth answers. Our approach consistently outperforms naive distillation with comparable data budgets ($57.15 \pm 1.01$ vs 51.61 on average) and offers a much steeper learning curve. Additionally, we present a comparative analysis of methods to generate and normalize distillation traces.
• Abstract（参考訳）: 大規模言語モデル(LLM)からより小さな兄弟への推論チェーンの蒸留は、標準的な訓練手法である。 しばしば、研究者は教師モデルとその内部表現に完全にアクセスできないため、結果として得られるパフォーマンスは制限される。 本研究では, 選択蒸留法と解答混合法という2つの成分を組み合わせた再帰的オフライン蒸留法を提案する。 具体的には、3つのオープンモデル (3-4B) に対して, 各エポックにおいて, 補助媒質モデル (70-72B) とエントロピー差による重み付けされた推論鎖をサンプリングし, 次に, 単一目的の真理解で思考トレースを補足する。 我々の手法は、平均して57.15 pm 1.01 対 51.61 と同等のデータ予算でネーブ蒸留を継続的に上回り、より急勾配の学習曲線を提供する。 さらに,蒸留トレースの生成と正規化のための手法の比較分析を行った。

関連論文リスト

• Distillation of Discrete Diffusion by Exact Conditional Distribution Matching [9.460409527892345]
  本稿では, 空調分布マッチングに基づく簡易かつ原理的な蒸留法を提案する。 我々は,この構造を利用して,事前学習した教師と低NFE学生の条件分布を直接一致させる蒸留目標を定義する。
  論文  参考訳（メタデータ） (2025-12-15T00:16:10Z)
• Score Distillation of Flow Matching Models [67.86066177182046]
  我々は、Score Identity Distillation (SiD) を事前訓練されたテキスト対画像フローマッチングモデルに拡張する。 SiDは、データフリーとデータアシストの両方の設定で、これらのモデルですぐに使える。 これは、スコア蒸留がテキストと画像のフローマッチングモデルに広く適用されるという最初の体系的な証拠を提供する。
  論文  参考訳（メタデータ） (2025-09-29T17:45:48Z)
• Inference-Time Diffusion Model Distillation [59.350789627086456]
  本稿では,新しい推論時間蒸留フレームワークであるDistillation++を紹介する。 条件付きサンプリングの最近の進歩に触発されて,本手法は学生モデルサンプリングを近位最適化問題として再放送する。 逆サンプリング中の蒸留最適化を統合し,教師指導とみなすことができる。
  論文  参考訳（メタデータ） (2024-12-12T02:07:17Z)
• EM Distillation for One-step Diffusion Models [65.57766773137068]
  最小品質の損失を最小限に抑えた1ステップ生成モデルに拡散モデルを蒸留する最大可能性に基づく手法を提案する。 本研究では, 蒸留プロセスの安定化を図るため, 再パラメータ化サンプリング手法とノイズキャンセリング手法を開発した。
  論文  参考訳（メタデータ） (2024-05-27T05:55:22Z)
• CKD: Contrastive Knowledge Distillation from A Sample-wise Perspective [48.99488315273868]
  セマンティックな一貫性を維持しつつ,サンプル単位のロジットアライメントを実現するコントラッシブな知識蒸留フレームワークを提案する。 提案手法は,教師と教師の対照的アライメントを通じて「暗黒知識」をサンプルレベルで伝達する。 CIFAR-100、ImageNet-1K、MS COCOデータセットを含む3つのベンチマークデータセットの総合的な実験を行う。
  論文  参考訳（メタデータ） (2024-04-22T11:52:40Z)
• Referee: Reference-Free Sentence Summarization with Sharper Controllability through Symbolic Knowledge Distillation [72.70058049274664]
  文献要約のための新しい枠組みであるRefereeについて紹介する(つまり、監督のために金の要約を必要としない)。 我々の研究は、シンボリック知識蒸留の概念的枠組みを通じて、参照不要で制御された文要約が実現可能であることを示す最初のものである。
  論文  参考訳（メタデータ） (2022-10-25T07:07:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。