論文の概要: Learning What to Imitate: Entropy-Aware Distribution Mixing
- arxiv url: http://arxiv.org/abs/2610.06671v1
- Date: Mon, 05 Oct 2026 16:44:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 23:48:17.525727
- Title: Learning What to Imitate: Entropy-Aware Distribution Mixing
- Title（参考訳）: 模倣するものを学ぶ:エントロピー・アウェア・ディストリビューション・ミックス
- Abstract要約: 小さな言語モデルは、生徒が新しいスキルを効率的に習得するために、より強力な教師モデルからの痕跡を推論するために、後から訓練されることが多い。
我々は,学生の予測エントロピーによって促進される生徒と教師の分布の動的パートークンであるtextbfEntropy-Aware Mixingを提案する。
その結果, エントロピーを意識した混合は蒸留を安定化させ, 分配量の改善, 分配数推論のアウト・オブ・ディストリビューションを推し進めることがわかった。
- 参考スコア（独自算出の注目度）: 27.83720746599539
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Small language models are often post-trained as students on reasoning traces from stronger teacher models to efficiently learn new skills. However, token-level imitation on traces that lie far outside the student's expected distribution often produces \textit{confident conflicts}, whereby the student is required to imitate a continuation that it deems unlikely (i.e., low-probability) despite being confident in a different continuation (i.e., in a low-entropy state). To mitigate the degradation in generalisation and catastrophic forgetting caused by these conflicts, we propose \textbf{Entropy-Aware Mixing}: a dynamic per-token interpolation of the student and teacher distributions, gated by the student's predictive entropy. We implement both convex and geometric interpolations for both offline trace generation (via speculative decoding, then SFT) and on-policy forward-KL distillation. Our results show that entropy-aware mixing stabilises distillation, improving in-distribution and out-of-distribution math reasoning while better preserving general capabilities than fixed-teacher supervision. Nonetheless, the optimal entropy schedule depends on the training source, with offline-generated traces favouring concave schedules (greater overall teacher influence) and on-policy training favouring linear or convex schedules (teacher concentrated in high-entropy states).
- Abstract（参考訳）: 小さな言語モデルは、生徒が新しいスキルを効率的に習得するために、より強力な教師モデルからの痕跡を推論するために、後から訓練されることが多い。
しかし、学生の期待する分布のはるかに外側にあるトレースのトークンレベルの模倣は、しばしば「textit{confident conflicts」を生じる。
これらの対立による一般化の悪化と破滅的な忘れを緩和するために,学生の予測エントロピーによって促進される,生徒と教師の動的個別補間法である「textbf{Entropy-Aware Mixing}」を提案する。
我々は、オフライントレース生成(投機復号、SFT)とオンラインフォワードKL蒸留の両方に凸および幾何学的補間を実装した。
その結果, エントロピーを意識した混合は, 蒸留を安定化させ, 分配性, 配当外の算数推論を改善しつつ, 固定教師監督よりも一般性を保っていることがわかった。
それでも、最適なエントロピースケジュールはトレーニングソースに依存しており、オフラインで生成されたトレースは、凹凸スケジュール(全体の教師の影響が大きい)と、線形または凸スケジュール(高エントロピー状態に集中している教師)を優先するオンライントレーニングである。
関連論文リスト
- Understanding Off- vs On-Policy Distillation: A Tale of Distinct Training Objectives [51.632660339442616]
複数の教員からの連続蒸留について検討し,そこでは学生が教師からの平均的な分散を最小限に抑える。
オフ・ポリティクスとオン・ポリティクスのフィードバックの下でこれらの目標を学習するアルゴリズムを開発する。
OPDの利点と脆弱性の両方を説明するのに役立つメカニズムを同定する。
論文 参考訳（メタデータ） (2026-09-29T23:47:58Z) - What Shared Prefixes Hide: Trajectory Dropout for On-Policy Distillation [17.676705850864103]
共有プレフィックスがトークンレベルの更新を弱める可能性があることが分かりました。
生徒の信頼度の高さは、教師が反対しても補正勾配を弱めることがある。
我々はこれらの弱化信号を公開する簡単な訓練時間介入であるトラジェクトリ・ドロップアウトを提案する。
論文 参考訳（メタデータ） (2026-09-27T11:08:31Z) - TeacherGRPO: Closing the Capacity Gap in Reasoning Distillation via Teacher Alignment [70.40748464576045]
強力な教師モデルから小さな学生への蒸留はギャップカースに面している。
教師がより高度に成長するにつれて、複雑な分布は生徒が近似できるものから多様化し、パフォーマンスが低下する。
本研究では,教師がデータを捨てたり,推論品質を劣化させたりすることなく,直接生徒の分布に適応する教師アライメントを提案する。
論文 参考訳（メタデータ） (2026-09-27T10:13:54Z) - Rethinking Reverse KL as Adaptive Entropy Distillation [18.957879192719762]
教師のエントロピーを用いてトークンレベルの模倣強度を動的に校正するtextbfAdaptive Entropy Distillation (AED)を提案する。
AEDは、全体的なパフォーマンスを向上し、一般的に、教師の分散とエントロピーのアライメントを改善する。
論文 参考訳（メタデータ） (2026-08-05T04:27:37Z) - dOPSD: On-Policy Self-Distillation for Diffusion Language Models [52.60302464420127]
拡散大言語モデルは、マスキングシーケンスを反復的に復調することでテキストを生成する。
監督された微調整は非政治的であり、露出バイアスに悩まされる一方、強化学習はわずかにシーケンスレベルの報酬しか与えない。
On-policy Self-distillation (OPSD)は、学生と教師の両方に1つのモデルを用いて、有望な代替手段を提供する。
論文 参考訳（メタデータ） (2026-07-05T17:47:29Z) - Distribution Corrected Offline Data Distillation for Large Language Models [8.778789513095907]
強力な大規模言語モデルから小さなものへの推論トレースを蒸留することは、リソース制約された設定におけるインテリジェンスを改善するための有望な方法である。
教師が生成したトレースからのオフライン蒸留は、高品質でサンプル効率の高い監視を提供するが、分散的ドリフトに悩まされる。
そこで本研究では,教師の分散ドリフトを補正しつつ,教師が生成するオフラインデータの効率性と監督品質を保ちつつ,教師の分散ドリフトを補正する原理的オフライン推論蒸留フレームワークを提案する。
論文 参考訳（メタデータ） (2026-05-13T19:47:31Z) - Prune-OPD: Efficient and Reliable On-Policy Distillation for Long-Horizon Reasoning [66.52232008796294]
Prune-OPDはトレーニング予算と監督品質を動的に調整する。
トレーニング時間を37.6%減らし-68.0%削減すると同時に、しばしば改善され、挑戦的なベンチマークのパフォーマンスが向上する。
論文 参考訳（メタデータ） (2026-05-08T14:38:53Z) - Don't Ignore the Tail: Decoupling top-K Probabilities for Efficient Language Model Distillation [50.19746127327559]
教師モデルのトップK予測確率と低確率予測確率の寄与を分離する新しいテールアウェア分岐を提案する。
実験により, 改良蒸留法は, デコーダモデルの事前学習と教師付き蒸留の両方において, 競争性能を発揮することが示された。
論文 参考訳（メタデータ） (2026-02-24T11:54:06Z) - Entropy-Reservoir Bregman Projection: An Information-Geometric Unification of Model Collapse [3.533187668612022]
本稿では,これらの現象を統一する情報幾何学的枠組みであるEntropyReser Bregman Projection- ERBPを提案する。
我々の理論は崩壊に必要な条件、(ii)非言語エントロピーフロアを保証する十分な条件、(iii)サンプルサイズに依存する閉形式率をもたらす。
論文 参考訳（メタデータ） (2025-12-16T19:50:03Z) - Provable Benefit of Curriculum in Transformer Tree-Reasoning Post-Training [76.12556589212666]
学習後のカリキュラムは指数関数的複雑性のボトルネックを回避していることを示す。
結果のみの報酬信号の下では、強化学習の微調整は、サンプルの複雑さを高い精度で達成する。
カリキュラムを意識したクエリにより、報奨託書の呼び出しとサンプリングコストの両方を指数関数的に削減するテストタイムスケーリングの保証を確立する。
論文 参考訳（メタデータ） (2025-11-10T18:29:54Z) - Parallelly Tempered Generative Adversarial Nets: Toward Stabilized Gradients [7.94957965474334]
生成的敵対ネットワーク(GAN)は、生成的人工知能(AI)における代表的バックボーンモデルである。
本研究は,モード崩壊の存在下でのトレーニングの不安定性と非効率性を,対象分布におけるマルチモーダルにリンクすることで解析する。
新たに開発したGAN目標関数により, 生成元は同時に全ての誘電分布を学習することができる。
論文 参考訳（メタデータ） (2024-11-18T18:01:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。