論文の概要: SimpleOPD: Simple Tokenizer-Agnostic On-Policy Distillation for Long-Context Reasoning

• arxiv url: http://arxiv.org/abs/2608.14277v1
• Date: Fri, 14 Aug 2026 12:57:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-17 20:14:29.384557
• Title: SimpleOPD: Simple Tokenizer-Agnostic On-Policy Distillation for Long-Context Reasoning
• Title（参考訳）: SimpleOPD:Long-Context Reasoningのための単純なトケナイザに依存しないオンポリシィ蒸留
• Abstract要約: オンライン蒸留(OPD)は、より強力な教師モデルから短文の学生に推論能力を伝達する有望な方法を提供する。 長文推論モデル SU-01 から短文学習者モデルへの証明推論能力の移譲により,この設定について検討する。 Qwen3, Qwen3.5, Intern-S2, GLM-4.7, Gemma-4を含む同族および異族の両方の実験は、数学的推論において一貫した利得を示している。
• 参考スコア（独自算出の注目度）: 54.402550664505576
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On-policy distillation (OPD) offers a promising way to transfer reasoning capabilities from stronger teacher models, but applying it to long-context reasoning teachers and short-context students introduces practical challenges, including tokenizer mismatch, teacher-student distribution mismatch, response length explosion, and training instability. In this work, we study this setting by transferring proof-reasoning capabilities from the long-context reasoning model SU-01 to short-context student models. To handle tokenizer differences, we perform OPD in a shared text space and align only tokens that occupy identical text spans under the student and teacher tokenizers. To mitigate the problem of excessive generation length and frequent truncation, we introduce a student reference KL loss and mask the advantages of special termination tokens such as </think> and <|im_end|>. This strategy constrains the student from drifting excessively from its initial policy, thereby mitigating the teacher-student distribution mismatch problem and fostering steady length growth. Experiments on both same-family and different-family student models, including Qwen3, Qwen3.5, Intern-S2, GLM-4.7, Gemma-4, show consistent gains in mathematical reasoning, especially natural-language math proving. Notably, Intern-S2-Preview improves by 21.2 points on ProofBench, reaching 55.2 and surpassing Gemini-2.5-Pro. It also improves on science benchmarks such as HLE and HiPhO, suggesting that OPD transfers reasoning capabilities that generalize beyond the mathematical training domain.
• Abstract（参考訳）: オンライン蒸留(OPD)は、より強力な教師モデルから推論能力を伝達する有望な手段を提供するが、長文推論の教師や短文の学生に応用することで、トークン化ミスマッチ、教師-学生分布ミスマッチ、応答長の爆発、トレーニング不安定性などの実践的な課題がもたらされる。 本研究では,長文推論モデル SU-01 から短文学習者モデルへの証明推論能力の移譲により,この設定について検討する。 トークンライザの違いに対処するため、共有テキスト空間でOPDを実行し、学生と教師のトークンライザの下で同一のテキストスパンを占有するトークンのみをアライメントする。 過剰な生成長と頻繁な乱れの問題を緩和するために,学生参照KL損失を導入し, </think> や <|im_end|> のような特別な終了トークンの利点を隠蔽する。 この戦略は、学生が初期方針から過度にドリフトすることを妨げ、教師-学生分布ミスマッチ問題を緩和し、安定した長さ成長を促す。 Qwen3, Qwen3.5, Intern-S2, GLM-4.7, Gemma-4を含む同族モデルと異族モデルの両方の実験は、数学的推論、特に自然言語数学の証明において一貫した利得を示している。 特に、Intern-S2-PreviewはProofBenchで21.2ポイント向上し、55.2でGemini-2.5-Proを上回った。 また、HLEやHiPhOといった科学ベンチマークを改善し、数学的トレーニング領域を超えて一般化する推論能力をOPDが転送することを示唆している。

関連論文リスト

• Mismatch Matters: On-Policy Distillation Beyond Token Agreement [27.396104103072844]
  ミスマッチトークンは,主に学生不足トークンと学生不足トークンの2種類に分類される。 そこで本研究では,有界ヘリンジャー成形法を応用し,最も重大なサンプル過剰を抑えるためのTIDEと,欠陥のある確率質量を復元するための分析教師の上位K$インジェクションを提案する。
  論文  参考訳（メタデータ） (2026-08-10T16:53:14Z)
• DemoPSD: Disagreement-Modulated Policy Self-Distillation [49.30809363804017]
  大規模言語モデルを訓練するための実践的な方法として、オンデマンド自己蒸留が登場している。 DemoPSDは、教師と生徒の分布の重み付けされた幾何学的組み合わせに向けて学生を操縦する。
  論文  参考訳（メタデータ） (2026-07-02T17:58:29Z)
• Prefix-Guided On-Policy Distillation: Mining Golden Trajectories from Rollouts [48.550535291129584]
  Prefix-Guided On-Policy Distillation (PG-OPD) は、固定長プレフィックスを用いて、高価な長距離発生前に軌跡値を推定する単純なロールアウト・アロケーションフレームワークである。 AMC、AIME、HMMTベンチマークの様々な教師/学生の組み合わせで、PG-OPDはトレーニング時間を最大2.46倍にし、平均精度を4.80ポイントまで改善している。
  論文  参考訳（メタデータ） (2026-06-20T11:18:34Z)
• Zone of Proximal Policy Optimization: Teacher in Prompts, Not Gradients [89.89504265663057]
  近親政策最適化ゾーン(ZPPO)は、ヴィゴツキーの近親開発ゾーンに触発されたものである。 ZPPOは1つの正しい教師の反応と1つの間違った学生の反応を、生徒が識別しなければならない匿名候補としてペアリングする。 プロンプト再生バッファは、生徒の平均ロールアウト精度が半分に達するか、FIFOが削除されるまで、各難問を再循環する。
  論文  参考訳（メタデータ） (2026-06-16T17:46:02Z)
• OmniOPD: Logit-Free On-Policy Distillation via Speculative Verification [21.095025092772257]
  On-Policy Distillation (OPD)は、強力な教師からの密集したトークンレベルフィードバックの下で、生徒モデルを自身の生成軌道上で訓練する。 OmniOPDはロジットフリーでチャンクレベルの監視信号を通じて両方の制限に対処する新しいフレームワークである。
  論文  参考訳（メタデータ） (2026-05-31T22:31:15Z)
• Your Teacher Can't Help You Here: Combating Supervision Fidelity Decay in On-Policy Distillation [81.10000755917712]
  オンライン蒸留は,教師からのトークンレベルのフィードバックを用いて,学生モデルを自作の軌道上で訓練することにより,推論能力を伝達する。 生徒が生成した接頭辞が長くなるにつれて、教師の次点の分布は自信を減らし、差別性が低下する。 SFDを緩和するため, textbfLookahead Group Reward (ours) を導入する。
  論文  参考訳（メタデータ） (2026-05-29T04:39:20Z)
• Not All Disagreement Is Learnable: Token Teachability in On-Policy Distillation [28.572361799234784]
  生のKL不一致が学習価値の粗いプロキシであることを示す。 我々はこの局所的な互換性をトークンの教育可能性として定式化する。 軽量なトークン配置選択法であるTeachability-Aware OPDを提案する。
  論文  参考訳（メタデータ） (2026-05-26T10:56:46Z)
• Reasoning Compression with Mixed-Policy Distillation [20.7258653384411]
  推論中心の大規模言語モデルは、しばしば過剰なトークンの使用と推論時復号コストを発生させる。 我々は,大規模教師から小学生に簡潔な推論行動を伝達する推論圧縮フレームワークであるMixed-Policy Distillation (MPD)を提案する。 MPDはトークンの使用量を最大27.1%削減し、複数の推論ベンチマークのパフォーマンスを改善している。
  論文  参考訳（メタデータ） (2026-05-09T08:04:47Z)
• Long-Chain Reasoning Distillation via Adaptive Prefix Alignment [57.130176131042965]
  本稿では,教師のCoTを適応的接頭辞アライメントによる蒸留に活用するフレームワークを提案する。 P-ALIGNは、残りの接尾辞が簡潔かどうかを判断することで、教師生成の推論軌道を適応的に切り離す。 複数の数学的推論ベンチマークの実験では、P-ALIGNはすべてのベースラインを3%以上上回っている。
  論文  参考訳（メタデータ） (2026-01-15T04:40:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。