論文の概要: Adaptive Pullback: Reweighting Supervision at Penalty Jumps in On-Policy Distillation

• arxiv url: http://arxiv.org/abs/2610.28194v1
• Date: Tue, 20 Oct 2026 13:34:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.832122
• Title: Adaptive Pullback: Reweighting Supervision at Penalty Jumps in On-Policy Distillation
• Title（参考訳）: アダプティブプルバック:オンライン蒸留におけるペナルティジャンプの重み付け
• Abstract要約: オンライン蒸留(On-policy distillation,OPD)は、学生の対数比を用いて学生が生成する反応を監督する。 我々は、保留トークンに持続する平均的なペナルティの急激な増加、ペナルティジャンプを識別する。 Adaptive Pullback OPD (AP-OPD) は、数学的推論とコード生成の両方のパフォーマンスを改善する。
• 参考スコア（独自算出の注目度）: 13.036567046404294
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On-policy distillation (OPD) supervises student-generated responses using sampled-token student-teacher log-ratios. A positive log-ratio penalizes a token that the student assigns higher probability to than the teacher, but its current value does not distinguish sustained high penalties from abrupt increases along a response. We examine these local changes by comparing consecutive blocks of tokens within the same response. Our diagnostic identifies penalty jumps, abrupt increases in average penalty that persist on held-out tokens. Across these jumps, penalties rise while teacher confidence decreases. We call this pattern penalty-confidence tension. Boundaries into high-penalty blocks do not exhibit comparable confidence changes, showing that local changes provide information beyond the current penalty value. Motivated by this observation, we propose Adaptive Pullback OPD (AP-OPD). At each detected jump, AP-OPD uses the preceding block as a local reference and uniformly scales all supervision coefficients in the following block so that its weighted average penalty matches the preceding block's original mean. This reference determines the scaling factor without an additional strength constant. AP-OPD improves performance on both mathematical reasoning and code generation.
• Abstract（参考訳）: オンライン蒸留(On-policy distillation,OPD)は、学生の対数比を用いて学生が生成する反応を監督する。 正の対数比は、生徒が教師よりも高い確率を割り当てるトークンを罰するが、その現在の値は、応答に沿った急激な増加から持続する高いペナルティを区別しない。 同一応答におけるトークンの連続ブロックの比較により,これらの局所的変化について検討する。 当社の診断では,保留トークンに持続するペナルティの平均値が急上昇し,ペナルティが急上昇することが明らかとなった。 これらのジャンプの中で、教師の自信が低下する一方、罰則は上昇する。 私たちはこのパターンをペナルティと自信の緊張と呼んでいる。 高額なブロックへの境界は、現在のペナルティ値を超える情報を提供する局所的な変化を示すため、同等の信頼度の変化は示さない。 そこで本研究では,AP-OPD (Adaptive Pullback OPD) を提案する。 検出されたジャンプ毎に、AP-OPDは前ブロックを局所参照として使用し、次のブロック内のすべての監督係数を均一にスケールし、その重み付き平均ペナルティが前ブロックの本来の平均値と一致するようにする。 この基準は、追加の強度定数なしでスケーリング係数を決定する。 AP-OPDは、数学的推論とコード生成の両方のパフォーマンスを改善する。

関連論文リスト

• Does On-Policy Distillation Need to Complete Every Rollout? [43.87106845001276]
  オンライン蒸留(OPD)は、学生が生み出すロールアウトに対するフィードバックを通じて、教師の知識を学生に伝達する。 既存のトランケーション手法は、ロールアウトを早期に停止することで計算を省く。 学生のロールアウトをランダムに切り換えることでOPDを高速化するTruncated On-Policy Distillation (STOPD)を導入する。 これは、Vanilla OPDの期待の勾配和を保ち、SGD、Adam、Muonの1ステップの更新エラー境界を導出することを示す。
  論文  参考訳（メタデータ） (2026-10-15T06:22:08Z)
• Understanding Off- vs On-Policy Distillation: A Tale of Distinct Training Objectives [51.632660339442616]
  複数の教員からの連続蒸留について検討し,そこでは学生が教師からの平均的な分散を最小限に抑える。 オフ・ポリティクスとオン・ポリティクスのフィードバックの下でこれらの目標を学習するアルゴリズムを開発する。 OPDの利点と脆弱性の両方を説明するのに役立つメカニズムを同定する。
  論文  参考訳（メタデータ） (2026-09-29T23:47:58Z)
• What Shared Prefixes Hide: Trajectory Dropout for On-Policy Distillation [17.676705850864103]
  共有プレフィックスがトークンレベルの更新を弱める可能性があることが分かりました。 生徒の信頼度の高さは、教師が反対しても補正勾配を弱めることがある。 我々はこれらの弱化信号を公開する簡単な訓練時間介入であるトラジェクトリ・ドロップアウトを提案する。
  論文  参考訳（メタデータ） (2026-09-27T11:08:31Z)
• A Token-Level Analysis of Sampled-Token Reverse-KL On-Policy Distillation [59.43605629311855]
  学生ログに対する逆KLのトーケンK2推定器の勾配を解析した。 そこで我々は,SuReを1つの経験的インスタンス化として,K2推定器で訓練した逆KL OPDの勾配レベル評価を行った。
  論文  参考訳（メタデータ） (2026-08-26T11:14:42Z)
• H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
  検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。 既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。 本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
  論文  参考訳（メタデータ） (2026-07-21T10:47:27Z)
• Your Teacher Can't Help You Here: Combating Supervision Fidelity Decay in On-Policy Distillation [81.10000755917712]
  オンライン蒸留は,教師からのトークンレベルのフィードバックを用いて,学生モデルを自作の軌道上で訓練することにより,推論能力を伝達する。 生徒が生成した接頭辞が長くなるにつれて、教師の次点の分布は自信を減らし、差別性が低下する。 SFDを緩和するため, textbfLookahead Group Reward (ours) を導入する。
  論文  参考訳（メタデータ） (2026-05-29T04:39:20Z)
• Prefix Teach, Suffix Fade: Local Teachability Collapse in Strong-to-Weak On-Policy Distillation [49.117085054884676]
  オンライン蒸留は、より強い教師からの強いフィードバックを使って、学生モデルを独自のロールアウトで訓練する。 我々は、この原則を軌跡固有のリリースルールで運用する。 強弱蒸留作業による実験結果から, この放出規則は標準全軌道PDよりも一貫して優れていたことが示唆された。
  論文  参考訳（メタデータ） (2026-05-13T15:05:30Z)
• Prune-OPD: Efficient and Reliable On-Policy Distillation for Long-Horizon Reasoning [66.52232008796294]
  Prune-OPDはトレーニング予算と監督品質を動的に調整する。 トレーニング時間を37.6%減らし-68.0%削減すると同時に、しばしば改善され、挑戦的なベンチマークのパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2026-05-08T14:38:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。