論文の概要: Condition-Contrastive Extrapolation for On-Policy Distillation of Language Models

• arxiv url: http://arxiv.org/abs/2610.21195v1
• Date: Thu, 15 Oct 2026 03:55:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.167885
• Title: Condition-Contrastive Extrapolation for On-Policy Distillation of Language Models
• Title（参考訳）: 言語モデルのオン・ポリシィ蒸留のための条件付きコントラスト外挿法
• Abstract要約: オンライン蒸留(OPD)は、より強い教師の監督のもと、自作の軌跡を訓練することで、生徒の言語モデルを改善する。 本研究では,教師が質問条件に敏感に対処できるように,コンディションコントラスト外挿オンポリシィ蒸留(CCE-OPD)を導入する。 CCE-OPD は、Qwen3-8B を 0.6B と 1.7B の学生に蒸留した場合、平均 1.60 と 1.95 の比率で、OPD よりも avg@8 を改善する。
• 参考スコア（独自算出の注目度）: 22.853339754424812
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: On-policy distillation (OPD) improves a student language model by training on its own generated trajectories with supervision from a stronger teacher. However, when conditioned on student-generated prefixes, the teacher can favor invalid continuations that violate the question's premises, causing OPD to encourage erroneous reasoning steps. As a remedy, we introduce Condition-Contrastive Extrapolated On-Policy Distillation (CCE-OPD), which makes teacher supervision sensitive to question conditions. CCE-OPD incorporates (1) a fixed-prefix comparison in which the same frozen teacher evaluates the complete question and a counterpart with a selected condition masked, and (2) a bounded log-probability contrast that reweights the teacher distribution into an auxiliary distillation target. On 200 diagnostic reasoning states, condition contrast reduces the rate of preferring invalid continuations from 27.0% to 16.0%. Extensive experiments across six mathematical benchmarks show that CCE-OPD improves avg@8 over OPD by an average of 1.60 and 1.95 percentage points when distilling Qwen3-8B into 0.6B and 1.7B students, respectively. It also achieves the strongest results on four transfer benchmarks.
• Abstract（参考訳）: オンライン蒸留(OPD)は、より強い教師の監督のもと、自作の軌跡を訓練することで、生徒の言語モデルを改善する。 しかし、学生が生成した接頭辞に条件付けされた場合、教師は質問の前提に反する無効な継続を好ましく、OPDは誤った推論ステップを奨励する。 対策として,教師が質問条件に敏感な指導を行うCCE-OPD(Con Condition-Contrastive Extrapolated On-Policy Distillation)を導入する。 CCE-OPDは,(1)同じ凍結した教師が,選択された条件をマスキングした状態で,完全な質問を評価する固定前比較,(2)教師分布を補助蒸留ターゲットに再重み付けする有界対数確率コントラストを具備する。 200の診断的推論状態において、条件コントラストは無効継続を27.0%から16.0%に減少させる。 CCE-OPDは、Qwen3-8Bを0.6Bと1.7Bの学生に蒸留した場合、平均1.60と1.95のパーセンテージで、OPDよりもavg@8を改善する。 また、4つの転送ベンチマークにおける最強の結果も達成している。

関連論文リスト

• When Do We Need On-Policy Distillation? Distilling on Offline Student Rollouts Is Often Better [63.03571783102715]
  単純な選択肢であるSemi-OPDは、精度とトレーニング効率の両方でOPDより優れていることがよく示される。 17組の教師と学生のペアで、Semi-OPDは最大で+13.6%の精度と11.4倍のトレーニングスピードアップでPDを上回った。
  論文  参考訳（メタデータ） (2026-10-08T05:54:03Z)
• Outcome-Guided On-Policy Self-Distillation [56.42298431854587]
  オンライン自己蒸留(OPSD)は、RLVR(Reinforcement Learning with Verifiable Rewards)よりも高密度トークンレベルの監視と計算効率の向上を提供する。 我々はOPSDの目的を同じ視点から分析し、結果の正しさのシグナルを取り入れた。 その結果,バニラOPSDは,結果の正当性に関わらず,不適切な軌跡に対して不十分な罰則と過剰な報酬を課すことが判明した。 本稿では,2次結果の報奨と累積平均教師エントロピーに応じて,分散目標と蒸留位置の両方を動的に適応させるOG-OPSD(Outcome-Guided On-Policy Self-Distillation)を提案する。
  論文  参考訳（メタデータ） (2026-10-04T09:13:27Z)
• Reward-Aligned Reweighting for On-Policy Distillation [17.797224736120654]
  オンライン蒸留は、学生が生み出す軌跡に関するより強い教師からの強いフィードバックで、学生言語モデルを訓練する。 決定の課題価値は、学生がその後の推論をどのように完了するかに依存する。 このミスマッチは、学生が確実に実行できないパスを補強したり、実行可能な学生戦略を抑えるために模倣を引き起こす可能性がある。 本稿では,教師の指導を継続的に再配置するために,結果の合意と教師の意見の不一致の程度を生かしたR$2-OPD(Reward-Aligned Reweighting for On-Policy Distillation)を紹介する。
  論文  参考訳（メタデータ） (2026-09-28T16:09:06Z)
• Counterfactual Constraint-Conditioned On-Policy Distillation for Multi-Constraint Instruction Following [5.84183450296164]
  以下のマルチ制約命令は、多くのアクティブな制約の下でクエリに応答するモデルを必要とする。 蒸留における標準監督世代方向を逆転させるCC-OPD(Counterfactual Constraint-Conditioned On-Policy Distillation)を提案する。
  論文  参考訳（メタデータ） (2026-09-23T06:37:41Z)
• On-Policy Distillation Meets Off-Policy GRPO: Training Compact Instruction-Following Rerankers [0.0]
  我々は、強化学習のレンズを通してリランカー蒸留を再考する。 そこで本稿では,教師のオフ・ポリティクス最適化とオン・ポリティクス学生の蒸留を組み合わせた2段階の枠組みを提案する。
  論文  参考訳（メタデータ） (2026-09-01T23:36:19Z)
• WDL-OPD: Weak-Driven On-Policy Distillation via Mixture-Constrained Co-Training [48.290951447286744]
  WDL-OPDは2つの訓練可能なポリシーを持つ混合制約付き協調訓練法である。 アンカーポリシはロールアウト毎に生成し、補助ポリシは同じ訪問状態を評価し、それらのトークン分布の幾何学的混合を逆KLで凍結教師にマッチングする。 凍結はPD$2とW2S-OPDと密接に関連するアンカープラスコントラストのプロキシターゲットを回復させるが,ジョイントトレーニングは静的デルタが表現できない分岐レベル自由度を生成する。
  論文  参考訳（メタデータ） (2026-08-10T11:22:53Z)
• Pass the Baton: Trajectory-Relayed On-Policy Distillation [23.50689651536186]
  オンライン蒸留は、学生自身の軌道におけるトークンレベルの監督を基礎としているが、プレフィックスの失敗に悩まされている。 Relay On-Policy Distillation (Relay-OPD)において、失敗プレフィックス上の教師-学生継続非対称性を特定し、ラベルなしハンドオフトリガに変換する。 トレーニング中、Relay-OPDは、教師が検出されたトリガーポイントを一時的に引き継ぎ、教師の足を生成し、その後、生徒が再開し、その結果の軌道に最適化することで、リレーの軌跡を構築する。
  論文  参考訳（メタデータ） (2026-07-28T17:59:46Z)
• When Are Teacher Tokens Reliable? Position-Weighted On-Policy Self-Distillation for Reasoning [45.79647925282674]
  On-policy Self-distillation (OPSD) は、特権教師を使って生徒を自身のロールアウトで訓練する。 既存のエントロピーに基づくPD手法は、教師エントロピーによるトークンレベルの監督を調節することで、この一様性を緩和する。 そこで我々は,PW-OPSD(Pight-Weighted On-Policy Self-Distillation)を提案する。
  論文  参考訳（メタデータ） (2026-05-20T18:14:03Z)
• On-Policy Distillation with Best-of-N Teacher Rollout Selection [54.91780727674628]
  本報告では, オンライン蒸留のためのベスト・オブ・Nロールアウト教員選抜フレームワークBRTSを提案する。 BRTSは、教師軌道から構築された教師コンテキスト管理ブランチで、標準の学生コンテキストOPDを強化する。 BRTSは、挑戦的な推論ベンチマークにおいて、標準的なPDよりも改善されており、より難しいデータセットに対して最大の利益がある。
  論文  参考訳（メタデータ） (2026-05-10T19:49:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。