論文の概要: Self-Supervised On-Policy Distillation for Reasoning Language Models
- arxiv url: http://arxiv.org/abs/2605.17497v1
- Date: Sun, 17 May 2026 15:14:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-19 17:57:48.120542
- Title: Self-Supervised On-Policy Distillation for Reasoning Language Models
- Title（参考訳）: 自己監督型オンライン蒸留による推論言語モデルの構築
- Authors: Zhiquan Tan, Yinrong Hong,
- Abstract要約: emphSelf-Supervised On-Policy Distillation (SSOPD)
コードはhttps://github.com/tzq 1999/SSOPD.comでリリースされる。
- 参考スコア（独自算出の注目度）: 9.324642081509756
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: GRPO-style RLVR trains reasoning models from multiple on-policy attempts per prompt, but typically uses these attempts only through terminal rewards. We show that a mixed group contains a richer process signal: a correct completion is a self-generated witness of how the current policy can solve the problem, while a wrong completion provides on-policy prefixes where the policy needs correction. We introduce \emph{Self-Supervised On-Policy Distillation} (SSOPD), which distills a teacher distribution conditioned on the shortest correct completion into prefixes of the longest wrong completion. This converts intra-group correct--wrong contrast into dense process supervision without external solution traces. A stopping-time view motivates the shortest-correct / longest-wrong rule as a finite-group approximation to editing persistent failures toward fast-success actions, and a prompt-level frontier weight concentrates the auxiliary loss where correct and wrong branches coexist. Across AIME 2024, AIME 2025, and HMMT 2025, SSOPD improves over GRPO in all nine model-benchmark settings. On Qwen3-8B, it reaches a macro Avg@12 of 65.6, outperforming GRPO by 1.6 points and the solution-conditioned OPSD baseline by 0.8 points. Code will be released at https://github.com/tzq1999/SSOPD.
- Abstract（参考訳）: GRPOスタイルのRLVR列車は、各プロンプトごとに複数のオン・ポリティケーション・トライアルからモデルを推論するが、通常、これらのトライアルは終端報酬でのみ使用される。
正しい完了は、現在のポリシーがどのようにして問題を解決できるかを自己生成する証人であり、間違った完了は、ポリシーが修正を必要とする、政治上のプレフィックスを提供する。
本稿では,最短の正しい完了を条件とした教師分布を,最短の誤完了のプレフィックスに蒸留する「SSOPD」について紹介する。
これにより、グループ内の正しいコントラストを、外部の溶液トレースを使わずに、密集したプロセス監視に変換する。
停止時間ビューは、有限群近似として最短の誤り/最長のルールを動機付け、持続的な失敗を高速な処理に向けて編集し、急進的なレベルのフロンティア重みは、正しい分岐と間違った分岐が共存する補助的損失を集中させる。
AIME 2024、AIME 2025、HMMT 2025の9つのモデルベンチマーク設定において、SSOPDはGRPOよりも改善されている。
Qwen3-8Bでは、65.6のマクロAvg@12に達し、GRPOを1.6ポイント、OPSDベースラインを0.8ポイント上回る。
コードはhttps://github.com/tzq 1999/SSOPD.comでリリースされる。
関連論文リスト
- Breaking $\textit{Winner-Takes-All}$: Cooperative Policy Optimization Improves Diverse LLM Reasoning [53.42577591449649]
グループ協力政策最適化は、トレーニングパラダイムをロールアウト競争からチーム協力へとシフトさせる。
GCPOは独立したロールアウトスコアをチームレベルのクレジット割り当てに置き換える。
チームへの平均的な限界貢献に従って、各ロールアウトに対して、グループチームの報酬を再分配する。
論文 参考訳（メタデータ） (2026-05-12T03:20:24Z) - Uniform-Correct Policy Optimization: Breaking RLVR's Indifference to Diversity [23.454044066183027]
Reinforcement Learning with Verifiable Rewards (RLVR) は、推論タスクにおいて、単一意図の精度(Pass@1)で大幅に向上した。
一般的なRLVRの目的は、どのように確率質量が正しい解間で分配されるかに無関係である。
我々は,GRPOの修正である統一正則政策最適化(UCPO)を提案し,適切な解に対する政策分布に条件付きペナルティを加える。
論文 参考訳（メタデータ） (2026-05-01T03:02:44Z) - HDPO: Hybrid Distillation Policy Optimization via Privileged Self-Distillation [0.0]
本稿では,崖のプロンプトをターゲットとした自己蒸留による標準RLを増強するハイブリッド蒸留政策最適化(HDPO)を提案する。
教師と生徒は同じ重み(入力でのみ異なる)を共有しているため、実現可能性のギャップは証明可能な境界である。
Qwen2.5-Math-1.5B-InstructによるOpenMath Instruct-2の実験は、HDPOが常にカバレッジメトリクスを改善していることを示している。
論文 参考訳（メタデータ） (2026-03-25T02:59:36Z) - Improving Search Agent with One Line of Code [68.58667107354253]
ツールベースのエージェント強化学習(TARL)は,検索エージェントが外部ツールと対話できるようにトレーニングするための,有望なパラダイムとして登場した。
textbfSearch textbfAgent textbfPolicy textbfOptimization (textbfSAPO)を提案する。
論文 参考訳（メタデータ） (2026-03-10T04:07:39Z) - PRISM: Pushing the Frontier of Deep Think via Process Reward Model-Guided Inference [6.568081870814357]
PRISMは、ステップレベルの検証を用いて、人口浄化とソリューションアグリゲーションの両方を導く推論アルゴリズムである。
数学や科学のベンチマークの他、PRISMは既存のDEEPTHINK法よりも優れている。
論文 参考訳（メタデータ） (2026-03-03T00:03:42Z) - WS-GRPO: Weakly-Supervised Group-Relative Policy Optimization for Rollout-Efficient Reasoning [67.45237332694025]
グループ相対政策最適化は、複雑な推論に基づいて言語モデルを訓練するのに効果的である。
Weakly Supervised GRPOを提案し、端末報酬を正当性を考慮したガイダンスに変換することにより、ロールアウト効率を向上させる。
論文 参考訳（メタデータ） (2026-02-19T02:43:35Z) - iGRPO: Self-Feedback-Driven LLM Reasoning [88.83313431248473]
大規模言語モデル(LLM)は複雑な数学的問題を解く上で有望であるが、正確で一貫したソリューションを生み出すには至っていない。
IGRPO(Iterative Group Relative Policy Optimization)は、モデル生成ドラフトを通じて動的自己条件を追加するGRPOの2段階拡張である。
一致するロールアウト予算の下では、iGRPOはGRPOをベースモデルで一貫して上回っている。
論文 参考訳（メタデータ） (2026-02-09T18:45:11Z) - Save the Good Prefix: Precise Error Penalization via Process-Supervised RL to Enhance LLM Reasoning [59.76691952347156]
強化学習(RL)は,大規模言語モデル(LLM)の推論能力向上のための強力なフレームワークとして登場した。
既存のRLアプローチの多くは疎結果報酬に依存しており、部分的に成功した解では正しい中間段階を信用できない。
本稿では、PRMを用いてRL中の最初のエラーをローカライズする検証済み事前修正ポリシー最適化(VPPO)を提案する。
論文 参考訳（メタデータ） (2026-01-26T21:38:20Z) - GTPO: Trajectory-Based Policy Optimization in Large Language Models [42.60363805227946]
政策に基づく最適化は、今日の言語モデルのトレーニングとアライメントに広く採用されている。
本稿では,GRPOの2つの大きな限界を明らかにし,解析する。
コンフリクトトークンを識別するGTPOを導入する。
論文 参考訳（メタデータ） (2025-08-05T08:15:01Z) - Rewarding the Unlikely: Lifting GRPO Beyond Distribution Sharpening [36.81125165911328]
強化学習は、言語モデルの推論能力を改善する主要な要因として現れています。
本稿では,現在の強化学習アルゴリズムが,すでに解いている問題に関するベースモデルの分布を単に研ぎ澄ましているだけかどうかを考察する。
差分報酬はランクバイアスを緩和し、合成定理と実定理の両方の証明設定において、多種多様な$N$でpass@N$を改善することを示す。
論文 参考訳（メタデータ） (2025-06-03T01:15:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。