論文の概要: DIAL-OPD: Learning More from Fewer Tokens in On-Policy Distillation

• arxiv url: http://arxiv.org/abs/2610.11659v1
• Date: Thu, 08 Oct 2026 10:36:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.960121
• Title: DIAL-OPD: Learning More from Fewer Tokens in On-Policy Distillation
• Title（参考訳）: DIAL-OPD: オンライン蒸留における少量のトークンから学ぶ
• Abstract要約: トークンの少ないトレーニングは完全なPDよりも優れており、より多くの監督が学習を改善するという直感に挑戦する。 教師と学生の確率の対数平均と報酬の大きさを重み付けすることで、ログ確率と確率空間を橋渡しするトークン選択法であるDIAL-OPDを提案する。
• 参考スコア（独自算出の注目度）: 18.033930178537783
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On-policy distillation (OPD) supervises student-generated trajectories with token-level teacher signals. Its sampled-token variant avoids the cost of full-vocabulary probabilities. Yet we find that training on fewer tokens can outperform full-token OPD, challenging the intuition that more supervision improves learning. This motivates selecting tokens by learning value. Existing disagreement-based criteria ignore probability scale: tokens assigned negligible probability by both models, termed low-low tokens, can receive large log-ratio rewards and hinder learning. We propose DIAL-OPD, a token-selection method that bridges log-probability and probability spaces by weighting reward magnitude with the logarithmic mean of teacher and student probabilities. A parameter beta controls this weighting, and the highest-scoring tokens are retained. Across 4 teacher-student pairs and 7 mathematical reasoning benchmarks, we compare DIAL-OPD with 9 baselines. Retaining only 40% of tokens, it outperforms Vanilla OPD and its full-token variants, with mean accuracy gains reaching 5.25 percentage points over Vanilla OPD, and doubles AIME25 Pass@16 from 13.33% to 26.67%. It also achieves up to an 18% relative improvement in mean accuracy over the strongest token-selection baseline at matched retention ratios. With a 4B teacher, DIAL-OPD surpasses the strongest full-token baseline using an 8B teacher at both student scales, showing that effective supervision allocation can outweigh teacher scaling. Further analysis shows that moderate beta balances suppressing low-low tokens against preserving useful disagreements. Token-level evidence reveals that DIAL-OPD filters high-reward tokens with limited reasoning value while preserving supervision critical to reasoning correctness.
• Abstract（参考訳）: オンライン蒸留(OPD)は、学生が生成した軌跡をトークンレベルの教師信号で監督する。 そのサンプルトーケン変種は、完全な語彙確率のコストを回避している。 しかし、トークンの少ないトレーニングは完全なPDよりも優れており、より多くの監督が学習を改善するという直感に挑戦する。 これは、学習価値によるトークンの選択を動機付けます。 既存の不一致ベースの基準は、確率尺度を無視している: 両方のモデルによって無視可能な確率を割り当てたトークンは、ローロートークンと呼ばれ、大きな対数比の報酬を受け取り、学習を妨げることができる。 教師と学生の確率の対数平均と報酬の大きさを重み付けすることで、ログ確率と確率空間を橋渡しするトークン選択法であるDIAL-OPDを提案する。 パラメータベータは、この重み付けを制御し、最高スコアトークンは保持される。 4つの教師-学生ペアと7つの数学的推論ベンチマークで、DIAL-OPDと9つのベースラインを比較した。 トークンの40%しか保持せず、バニラOPDとフルトーケンの変種を上回り、平均精度はバニラPDで5.25ポイント、AIME25 Pass@16は13.33%から26.67%に倍増した。 また、一致した保持率において、最強のトークン選択ベースラインよりも平均精度が最大で18%向上する。 DIAL-OPD は 4B の教師を擁し,8B の教師を両方の規模で使用することで,教師のスケーリングをはるかに上回っている。 さらに分析したところ、中程度のベータバランスは、有用な不一致を保存するために低いトークンを抑えることが示されている。 トークンレベルの証拠は、DIAL-OPDが推論値に制限のあるハイリワードトークンをフィルタリングし、正しい推論に不可欠な監督を保っていることを示している。

関連論文リスト

• MetaOPD: Meta-Learned Token Weighting for On-Policy Distillation [62.5957241539435]
  本稿では,学生モデルと軽量トークン重み付けネットワークを共同で学習する双方向最適化フレームワークであるMetaOPDを提案する。 このアップデートを微分することで、重み付けの決定を更新後のパフォーマンスへの影響に結び付け、予測信号からトークン重みへのマッピングを学生と一緒に進化させることができる。
  論文  参考訳（メタデータ） (2026-10-08T13:58:39Z)
• On the Token Value Inequality in Efficient Reasoning [68.73741968444614]
  連鎖推論により、大規模な言語モデルによって複雑なタスクにおいて大幅なパフォーマンス向上が達成された。 推論トレースのすべてのトークンは、同等に価値がありますか? 本稿では,重要な経験的発見を基盤とした診断・最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-09-27T22:15:38Z)
• A Token-Level Analysis of Sampled-Token Reverse-KL On-Policy Distillation [59.43605629311855]
  学生ログに対する逆KLのトーケンK2推定器の勾配を解析した。 そこで我々は,SuReを1つの経験的インスタンス化として,K2推定器で訓練した逆KL OPDの勾配レベル評価を行った。
  論文  参考訳（メタデータ） (2026-08-26T11:14:42Z)
• Mismatch Matters: On-Policy Distillation Beyond Token Agreement [27.396104103072844]
  ミスマッチトークンは,主に学生不足トークンと学生不足トークンの2種類に分類される。 そこで本研究では,有界ヘリンジャー成形法を応用し,最も重大なサンプル過剰を抑えるためのTIDEと,欠陥のある確率質量を復元するための分析教師の上位K$インジェクションを提案する。
  論文  参考訳（メタデータ） (2026-08-10T16:53:14Z)
• On the Position Bias of On-Policy Distillation [19.36735875165262]
  IW-OPD (Importance-Weighted On-Policy Distillation) は, OPD (On-Policy Distillation) よりもはるかに早く収束することを示す。 IW-OPDは、同じサイズとクロススケールの両方で標準のPDよりも優れた最終性能を実現し、AIME-2025では6.9ポイントまで性能が向上した。
  論文  参考訳（メタデータ） (2026-06-21T17:20:21Z)
• Your Teacher Can't Help You Here: Combating Supervision Fidelity Decay in On-Policy Distillation [81.10000755917712]
  オンライン蒸留は,教師からのトークンレベルのフィードバックを用いて,学生モデルを自作の軌道上で訓練することにより,推論能力を伝達する。 生徒が生成した接頭辞が長くなるにつれて、教師の次点の分布は自信を減らし、差別性が低下する。 SFDを緩和するため, textbfLookahead Group Reward (ours) を導入する。
  論文  参考訳（メタデータ） (2026-05-29T04:39:20Z)
• Not All Disagreement Is Learnable: Token Teachability in On-Policy Distillation [28.572361799234784]
  生のKL不一致が学習価値の粗いプロキシであることを示す。 我々はこの局所的な互換性をトークンの教育可能性として定式化する。 軽量なトークン配置選択法であるTeachability-Aware OPDを提案する。
  論文  参考訳（メタデータ） (2026-05-26T10:56:46Z)
• CEPO: RLVR Self-Distillation using Contrastive Evidence Policy Optimization [50.59956036193097]
  検証可能な報酬(RLVR)を用いた強化学習における正しい解を生成するモデル 各トークンは、決定的な推論ステップであれ、文法的なフィラーであれ、同じ報酬信号を受信する。 コントラストエビデンスポリシー最適化(CEPO)を提案する。 CEPOは、全てのトークンに対してよりシャープな質問をする:「正しい答えは、このトークンを好むか?」が、「正しい答えは、正しい答えは、それを好む一方で、間違った答えはそれを好まないか?」。
  論文  参考訳（メタデータ） (2026-05-19T06:46:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。