論文の概要: Verifier-Induced Support Reshaping in On-Policy Optimization
- arxiv url: http://arxiv.org/abs/2608.00220v1
- Date: Fri, 31 Jul 2026 19:05:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:24.551329
- Title: Verifier-Induced Support Reshaping in On-Policy Optimization
- Title（参考訳）: オンライン最適化における検証者による支援リフォーミング
- Abstract要約: 検証可能な報酬(RLVR)によるオンライン強化学習は、現在の目標を改善できる一方で、後の目標に対する行動の成功は、サンプリングや強化が極めて稀であることを示す。
我々は、この検証者によるサポートの再構築と呼び、有効な報奨支援を、固定されたロールアウト予算内で到達可能な軌道として定義する。
- 参考スコア（独自算出の注目度）: 27.782412748608255
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We show that on-policy reinforcement learning with verifiable rewards (RLVR) can improve the current objective while making successful behaviors for later objectives too rare to sample and reinforce. We call this verifier-induced support reshaping and define effective rewardable support as successful trajectories reachable within a fixed rollout budget. Across two model families, we study this effect through repeated verifier-scored sampling and bidirectional training on mathematical reasoning and constrained instruction following, including sequential training with the opposite verifier. Math-RLVR raises average instruction-following success but reduces the number of prompts with any successful response under repeated sampling. On IFEval with Qwen3-8B-Base, pass@1 rises by 6.5 percentage points while best@32 falls by 9.8 percentage points, and the same divergence appears across both models and IF benchmarks. Conversely, IF-RLVR shifts math responses from step-by-step openings toward direct answers, lowers best@k across sampling budgets, and reduces reward variation for later Math-RLVR. Token-distribution analyses and controlled opening interventions show that these changes concentrate in the first few response tokens. RLVR mainly reranks openings already available in the base policy, and the selected opening causally affects math searchability. The tested reference-policy constraints, routing priors, and on-policy distillation preserve cross-task support only partially; MathIF and ReasonIF show that marginal gains translate only partly into responses that are both correct and constraint-following. Therefore, endpoint improvements do not guarantee future trainability or joint capability under on-policy optimization. Code is available at https://github.com/sylvain-wei/verifier-induced-support-reshaping
- Abstract（参考訳）: 検証可能な報酬(RLVR)によるオンライン強化学習は、現在の目標を改善できる一方で、後の目標に対する行動の成功は、サンプリングや強化が極めて稀であることを示す。
我々は、この検証者によるサポートの再構築と呼び、有効な報奨支援を、固定されたロールアウト予算内で到達可能な軌道として定義する。
本研究は,2つのモデルファミリをまたいで,逆検証器を用いた逐次学習を含む数学的推論と制約付き指導の繰り返し検証と双方向学習を通じて,この効果について検討する。
Math-RLVRは、平均的な命令追従の成功をあげるが、繰り返しサンプリングされたレスポンスで成功するプロンプトの数を減らす。
Qwen3-8Bベースを持つIFEvalでは、pass@1が6.5ポイント上昇し、est@32が9.8ポイント減少し、同じばらつきがモデルとIFベンチマークの両方に現れる。
逆にIF-RLVRは、数学の反応をステップバイステップのオープニングから直接回答にシフトし、サンプリング予算全体にわたってベスト@kを下げ、その後のMath-RLVRの報酬変動を減らす。
Token-distriion analysis and control open interventions shows that these changes holds in the first few response tokens。
RLVRは主に、基本方針で既に利用可能なオープニングをリランクし、選択されたオープニングは数学検索性に因果的に影響を及ぼす。
MathIFとReasonIFは、限界ゲインが部分的には正しいと制約フォローの両方の応答にしか変換されないことを示した。
したがって、エンドポイントの改善は、将来的なトレーナービリティや、オン・ポリティクスの最適化の下でのジョイント能力を保証するものではない。
コードはhttps://github.com/sylvain-wei/verifier-induced- Support-reshapingで公開されている。
関連論文リスト
- When RLVR Shrinks the Reasoning Boundary: Diagnosing Pass@k Inversion [0.0]
検証可能な報酬(RLVR)を用いた強化学習は、繰り返しサンプリング時にモデルを悪化させながら、一サンプル精度を向上させることができる。
トレーニング後、このポリシーはベースモデルよりも小さな問題を、大きな$k$で解決する可能性がある。
失敗は境界プロンプトに集中しており、ベースモデルにはサンプリングによって回復できる稀な正しい軌道が含まれており、有限のRLVRロールアウトグループに確実に現れるには小さすぎる。
論文 参考訳（メタデータ） (2026-07-12T17:17:18Z) - LatentRevise: Learning from Zero-Hit Reasoning [46.1536368072511]
検証可能な報酬を伴う強化学習は、正しい軌道の確率が低いハードプロンプトによってボトルネックされる。
我々は、RLVRのサンプリングフロンティアのようなゼロヒットプロンプトをフレーム化します。
本稿では,このゼロヒット方式のトレーニング信号を復元する1次遅延修正手法であるLatentReviseを紹介する。
論文 参考訳（メタデータ） (2026-06-29T08:14:47Z) - REVES: REvision and VErification--Augmented Training for Test-Time Scaling [53.197756110943395]
本稿では,オンラインデータ/プロンプト拡張とポリシー最適化を交互に行う2段階反復フレームワークを提案する。
我々は、RLベースライン上の+6.5点と、標準マルチターントレーニングにおける+4.0点の利得を観察する。
論文 参考訳（メタデータ） (2026-06-17T10:37:23Z) - TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning [52.67756371231985]
検証可能な報酬を伴う強化学習(RLVR)は、大規模言語モデルにおける推論とエージェント的行動を強化するための有望なアプローチである。
本稿では,Tree Rollout Allocation for Contrastive Exploration (TRACE)について紹介する。
技術的には、TRACEはロールアウト予算をルートと中間プレフィックスの両方に割り当てている。
論文 参考訳（メタデータ） (2026-06-09T17:16:03Z) - Learning to Solve, Forgetting to Retain: Correct-Set Turnover in RLVR [16.681943272535104]
検証可能な報酬(RLVR)による強化学習は、大きな言語モデルの能力を向上させるが、見出し精度の向上は隠れたコストを隠蔽することが多い。
我々は、マスタされたプロンプトを追跡し、それを定期的に再導入して、過去のソリューションのモデルをtextbfremindに再導入するリテンション対応レビューメカニズムであるtextbfmethodを提案する。
論文 参考訳（メタデータ） (2026-06-02T03:17:34Z) - VeriGate: Verifier-Gated Step-Level Supervision for GRPO [51.26100506256885]
グループ相対政策最適化は、検証者に基づく結果報酬を伴う推論モデルをトレーニングするための効果的なレシピである。
GRPO の検証子付き拡張である VeriGate を提案し,これらの制限を3つの設計選択で解決する。
We show that VeriGate improves average accuracy around 20% and 12% for 1.5B and 7B models respectively。
論文 参考訳（メタデータ） (2026-05-28T18:20:32Z) - SAGE: Shaping Anchors for Guided Exploration in RLVR of LLMs [55.46289074417954]
検証可能な報酬(RLVR)による強化学習は、推論タスクのpass@1を確実に改善するが、pass@kでは同等の利得を得られないことが多い。
中心的な構造的制約は、トレーニングを安定させるが、本質的には基準分布にポリシーを固定する逆-KL正規化から生じる。
我々は,逆KLアンカー分布自体を再構成することで,制御可能な経験的サポート拡張を可能にする,原則化されたフレームワークであるSAGEを提案する。
論文 参考訳（メタデータ） (2026-05-15T07:42:21Z) - Learning from Failures: Correction-Oriented Policy Optimization with Verifiable Rewards [73.44333771806282]
RLVR(Reinforcement Learning with Verifiable Rewards)は,大規模言語モデルの推論能力向上に有効なパラダイムとして登場した。
本稿では,RLVRの簡易かつ効果的な拡張であるCIPO(Correction-Oriented Policy Optimization)を提案する。
CIPOは学習効率を向上し、モデルが自身のエラーを修正する能力を明示的に強化する。
論文 参考訳（メタデータ） (2026-05-14T08:22:21Z) - CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。
エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。
CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
論文 参考訳（メタデータ） (2025-12-22T16:34:21Z) - Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。
認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。
この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
論文 参考訳（メタデータ） (2025-10-01T13:56:44Z) - The Surprising Effectiveness of Negative Reinforcement in LLM Reasoning [37.13807960501503]
検証可能な報酬を伴う強化学習(RLVR)は、言語モデル(LM)のトレーニングに有望なアプローチである
我々は学習信号を正しい応答の強化と正負の正負の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の
我々は、NSRが不正確な世代を抑え、確率質量を他の可算候補に向けて再分配することで、モデルの以前の信念に導かれることを示す。
論文 参考訳（メタデータ） (2025-06-02T06:10:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。