論文の概要: Influence-Directed Distillation: Solving the Diversity Bottleneck in Sampled-Token On-Policy Distillation
- arxiv url: http://arxiv.org/abs/2608.29846v1
- Date: Sun, 30 Aug 2026 15:22:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:31.089355
- Title: Influence-Directed Distillation: Solving the Diversity Bottleneck in Sampled-Token On-Policy Distillation
- Title（参考訳）: インフルエンス指向蒸留:サンプリングオンポーシィ蒸留におけるダイバーシティボトルネックの解決
- Abstract要約: 影響指向型適応型オンポリシィ蒸留(IDA-OPD)を提案する。
IDA-OPDはエントロピー適応型更新を保存し、エントロピー圧縮型更新をばらつき拡大による利点縮小に置き換える。
推論指向蒸留の実験では、IDA-OPDはパス@k$を一貫して改善し、蒸留を通じて教師の多様性を継承する。
- 参考スコア（独自算出の注目度）: 17.01350720731129
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Sampled-token on-policy distillation (OPD) efficiently transfers capabilities from teacher to student using student-generated tokens, requiring teacher probabilities only for sampled tokens. Yet it frequently suffers from diversity distillation failure: the student's pass@1 improves while its pass@$k$ plateaus, failing to inherit the teacher's diversity. To explain this, we introduce First-Order Local Entropy Influence, a signed first-order proxy that decouples each update's entropy effect into the teacher--student log-probability gap and the student's local probability structure, and empirically links entropy contraction to negative-influence positions. Motivated by this, we propose Influence-Directed Adaptive On-Policy Distillation (IDA-OPD): rather than relying on costly full-vocabulary Forward-KL objectives, it preserves entropy-expanding updates while replacing entropy-contracting ones with divergence-adaptive advantage shrinkage, using only the teacher's sampled-token log-probability. Experiments on reasoning-oriented distillation show IDA-OPD consistently improves pass@$k$, inheriting the teacher's diversity through distillation, matches the strongest teacher-informed methods at strictly lower cost, and broadly maintains vanilla OPD's pass@1, all without full-vocabulary teacher information.
- Abstract（参考訳）: サンプル付きオンライン蒸留(Sampred-token on-policy distillation:OPD)は、学生が生成したトークンを使用して教師から生徒に効率よく機能を伝達し、サンプルトークンにのみ教師の確率を必要とする。
学生のpass@1は、パス@$k$高原で改善され、教師の多様性を継承できない。
これを説明するために,教師の対数確率ギャップと生徒の局所確率構造に各更新のエントロピー効果を分離し,エントロピーの収縮と負の影響位置を実証的に関連付ける一階局所エントロピーの影響について述べる。
そこで本研究では,教師のサンプル・トケン・ログ・確率のみを用いて,エントロピー・コントラクション(Entropy-adaptive advantage shrinkage)に置き換えつつ,エントロピー・拡張更新を保ちつつ,コストのかかるフルボキャブラリー・フォワード・KLの目的に頼らず,エントロピー・エントロピー・拡張の更新を保ちつつ,インフルボキャブラリー・オン・ポリティ・蒸留(IDA-OPD)を提案する。
推論指向蒸留の実験では、IDA-OPDはパス@k$を一貫して改善し、蒸留によって教師の多様性を継承し、最強の教師インフォームドメソッドを厳格に低コストでマッチングし、バニラOPDのパス@1をフル語彙の教師情報なしで広く維持する。
関連論文リスト
- Simple-OPD: Demystifying Warm-up for On-policy Distillation [51.693357695326846]
オンライン蒸留(On-policy distillation、OPD)は、教師モデルからトークンレベルの監督を受け、生徒を自身のロールアウトで訓練する。
データとトレーニングの両方の観点から、OPDのウォームアップをデミスティフィケートします。
論文 参考訳（メタデータ） (2026-08-07T04:47:38Z) - Distill Where You Fail: Recovering Learning Signals of Negative RL-Groups from Adaptive Teacher Guidance [50.77757355236912]
本稿では,RSTG(Recovering Learning Signals via Adaptive Teacher Guidance)を提案する。
RSTGは数学では+4.02%、コードでは+3.05%の速さでGRPO+OPDを大幅に上回ることを示した。
論文 参考訳（メタデータ） (2026-08-01T17:29:14Z) - H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。
既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。
本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
論文 参考訳（メタデータ） (2026-07-21T10:47:27Z) - DemoPSD: Disagreement-Modulated Policy Self-Distillation [49.30809363804017]
大規模言語モデルを訓練するための実践的な方法として、オンデマンド自己蒸留が登場している。
DemoPSDは、教師と生徒の分布の重み付けされた幾何学的組み合わせに向けて学生を操縦する。
論文 参考訳（メタデータ） (2026-07-02T17:58:29Z) - DOPD: Dual On-policy Distillation [59.65986569617147]
オンライン蒸留は、高密度のトークンレベルの信号で学生サンプルの軌跡を監督することで、優れた容量転送を提供する。
特権教師と特権学生の政策の間のトークンレベルの監督を動的にルーティングするアドバンテージ・アウェアな二重蒸留パラダイムであるDOPDを提案する。
大きな言語モデル(LLM)と視覚言語モデル(VLM)の両方の実験は、DOPDがバニラPDを一貫して上回っていることを示している。
論文 参考訳（メタデータ） (2026-06-29T17:55:53Z) - On-Policy Self-Distillation with Sampled Demonstrations Reduces Output Diversity [5.35852583397955]
On-policy self-distillationは,教師と学生の両方に単一モデルを使用することで,強力なパス@1精度を実現する。
ロールアウトの多様性が低下し、pass@k曲線がフラットになるのです。
論文 参考訳（メタデータ） (2026-06-24T17:59:02Z) - EDGE-OPD: Internalizing Privileged Context with Evidence Guided On-Policy Distillation [5.310892696470208]
On-Policy Distillation (OPD)はLLMポストトレーニングパラダイムとして広く注目を集めている。
このアプローチの課題は、特権情報によって、意図よりもモデル行動を変えることができることだ。
EviDence GuidEd On-Policy Distillation (EDGE-OPD)を提案する。
論文 参考訳（メタデータ） (2026-05-22T10:55:15Z) - EGAD: Entropy-Guided Adaptive Distillation for Token-Level Knowledge Transfer [72.31900638260758]
大規模言語モデル(LLM)は、様々な領域で顕著なパフォーマンスを実現している。
知識蒸留は、大きな教師モデルからより小さな学生モデルに知識を移すことによって、有望な解決策を提供する。
本稿では,トークンレベルでのトレーニングプロセスを動的に調整する,エントロピーに基づく適応蒸留方式を提案する。
論文 参考訳（メタデータ） (2026-05-03T06:05:51Z) - Entropy-Aware On-Policy Distillation of Language Models [36.60992451188347]
エントロピーを意識したオン・ポリシィ蒸留について紹介する。
我々のキーとなる考え方は、教師のエントロピーが高い場合、標準逆KL目標を前方KLに増強することである。
モデム探索精度とモデム探索精度のバランスを保ち、モデムの訓練効率を犠牲にしない。
論文 参考訳（メタデータ） (2026-03-07T07:26:18Z) - Fast and Effective On-policy Distillation from Reasoning Prefixes [5.0200371345178]
オンライン蒸留(OPD)は学生モデルの軌跡を抽出し、トークンレベルで教師と監督する。
そこで本研究では, 学生生成出力のプレフィックスのみに蒸留目標を適用し, 蒸留の早期に各サンプリングを終了する, 簡易かつ効果的なPDの修正を提案する。
AI-for-Mathベンチマークとアウト・オブ・ベンチマークの実験では、オンラインプレフィックス蒸留はフルPDのパフォーマンスと一致し、FLOPのトレーニングを2倍-47倍削減した。
論文 参考訳（メタデータ） (2026-02-16T23:28:54Z) - Knowledge distillation via adaptive instance normalization [52.91164959767517]
本稿では,教師から生徒への特徴統計の伝達に基づく新しい知識蒸留法を提案する。
本手法は,教師に類似する生徒の平均と分散を強制する標準的な方法を超えている。
以上の結果から, 蒸留法は他の蒸留法よりも高い性能を示した。
論文 参考訳（メタデータ） (2020-03-09T17:50:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。