論文の概要: Hindsight-Privileged RLVR: Single-Rollout Token Credit Without Group Sampling

• arxiv url: http://arxiv.org/abs/2610.20497v1
• Date: Wed, 14 Oct 2026 17:06:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.261922
• Title: Hindsight-Privileged RLVR: Single-Rollout Token Credit Without Group Sampling
• Title（参考訳）: Hindsight-Privileged RLVR:グループサンプリングなしのシングルロールのトークン
• Abstract要約: 検証可能な報酬(RLVR)による強化学習は、チェックされたタスク結果から言語モデルを訓練する。 本稿では,Hendsight-Privileged RLVR(HP-RLVR)を提案する。
• 参考スコア（独自算出の注目度）: 23.2358211239066
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning with verifiable rewards (RLVR) trains language models from checked task outcomes, but assigning a terminal reward to individual reasoning tokens or actions remains difficult. Group-relative methods such as Group Relative Policy Optimization (GRPO) sample several attempts per prompt, but lose their reward-based learning signal when all attempts receive the same outcome. We propose Hindsight-Privileged RLVR (HP-RLVR), a single-rollout method that turns a completed trajectory's own future into token-level update weights. The generating policy snapshot scores each eligible token under its causal history and under a hindsight context containing the realized future and verifier feedback. A normalized Jensen--Shannon divergence between the two views weights the reward relative to a historical baseline, yielding bounded token credit for both successful and failed attempts, with no reference solution or learned critic. In paired Qwen3-8B runs over a shared $100$-step schedule, HP-RLVR trains $1.21\times$, $1.46\times$, and $2.30\times$ faster than GRPO on mathematics, code generation, and ALFWorld, using one eighth the rollouts per prompt. Accuracy is comparable overall, with HP-RLVR ahead on mathematics at all three sizes and GRPO ahead on code and ALFWorld. In ALFWorld, $43.2\%$ (4B) and $49.0\%$ (8B) of GRPO's gradient-norm records are zero, versus none for HP-RLVR.
• Abstract（参考訳）: 検証可能な報酬(RLVR)を用いた強化学習は、チェックされたタスク結果から言語モデルを訓練するが、個々の推論トークンや行動に端末報酬を割り当てることは依然として困難である。 グループ相対的政策最適化(GRPO)のようなグループ相対的手法は、プロンプトごとにいくつかの試みをサンプリングするが、全ての試みが同じ結果を得た場合、報酬に基づく学習信号を失う。 本稿では,Hendsight-Privileged RLVR(HP-RLVR)を提案する。 生成ポリシースナップショットは、その因果履歴と、実現された未来と検証者フィードバックを含む後見コンテキストの下で、各資格トークンをスコアする。 通常のジェンセン=シャノンの偏差は、歴史的基準に対する報酬を重み付け、成功と失敗の両方に対して有界なトークンクレジットを付与する。 Qwen3-8Bは100ドルのスケジュールを共有し、HP-RLVRは1.21\times$、1.46\times$、2.30\times$は数学、コード生成、ALFWorldのGRPOよりも速い。 HP-RLVRは3つのサイズで数学を、GRPOはコードとALFWorldに先んじている。 ALFWorldでは、GRPOの勾配ノルム記録の43.2\%$ (4B) と49.0\%$ (8B) はゼロであり、HP-RLVRではゼロではない。

関連論文リスト

• Hierarchical Credit Assignment for RLVR on Fused Gromov-Wasserstein Geometry [64.0939888069956]
  本稿では,グループベースRLVR手法の階層的信用割当手法(HarA)を提案する。 HarAはRLVR中に意味的に新しい推論行動を特定し、促進する。 実験の結果,プラグイン・アンド・プレイ方式は大規模言語モデルの探索を効果的に促進することがわかった。
  論文  参考訳（メタデータ） (2026-10-03T07:11:02Z)
• Understanding Diversity Collapse in RLVR via the Lens of Overtraining [78.37408098404312]
  検証可能な報酬付き強化学習(RLVR)は,大規模言語モデルの推論能力を高めるための重要なアプローチとなっている。 我々は、この多様性の崩壊をエンフェーバートレーニングのレンズを通してフォーマルに定式化する 本稿では,各問題の限界寄与を推論境界に推定することにより,オーバートレーニングから最適化をリダイレクトするemphBayesian boundary Gating (BBG)を提案する。
  論文  参考訳（メタデータ） (2026-06-13T20:13:37Z)
• Leveraging Error Diversity in Group Rollouts for Reinforcement Learning [61.10980882949414]
  Reinforcement Learning from Verifiable Rewards (RLVR) は通常、プロンプト毎に複数のレスポンスをサンプリングし、個々の正確性に基づいてバイナリ報酬を割り当てる。 グループ内エラーの多様性に基づいて,不正なロールアウトに対して有利なシグナルを変調するために,EDAS(Error Diversity Advantage Shaping)を提案する。 EDASは、任意のRLVRアルゴリズムにシームレスに統合できるシンプルなポストホック調整として動作する。
  論文  参考訳（メタデータ） (2026-05-17T08:52:31Z)
• Gradient Starvation in Binary-Reward GRPO: Why Group-Mean Centering Fails and Why the Simplest Fix Works [19.92945464084119]
  Group Relative Policy Optimization (GRPO) は、検証可能な報酬からの強化学習のための標準アルゴリズムである。 我々は、真の退化率は、常にジェンセンの不等式によるベルヌーイ予想を超えることを証明している。 固定参照符号の利点である$A=2r-1$は、グループ内の少なくとも1つのサンプルが成功する確率を高めて、pass@$G$失敗降下を実行することを示す。
  論文  参考訳（メタデータ） (2026-05-08T12:58:06Z)
• Prune as You Generate: Online Rollout Pruning for Faster and Better RLVR [78.88799271719365]
  本稿では,オンラインロールアウトプルーニング手法であるarrol(オンラインロールアウトプルーニングによるRLVRの高速化)を紹介する。 Arrolは軽量なクオリティヘッドをオンザフライでトレーニングし、部分的なロールアウトの成功確率を予測する。 Qwen-3とLLaMA-3.2のGRPOとDAPO全体で、アロールは平均精度を+2.30から+2.99に改善し、最大1.7倍のトレーニングスピードアップを達成する。
  論文  参考訳（メタデータ） (2026-03-25T22:10:36Z)
• Beyond Variance: Prompt-Efficient RLVR via Rare-Event Amplification and Bidirectional Pairing [21.946965363578087]
  検証可能な報酬付き強化学習(RLVR)は、決定論的結果推論タスクにおいて、大規模言語モデルのトレーニングに有効である。 以前の研究によると、RLVRはプロンプトが少ないが、迅速な選択はトレーニング精度のばらつきにのみ基づくことが多い。 有効なミニバッチは、(i)信頼できる正のアンカーと(ii)稀な障害からの明確な負の学習信号の両方を提供するべきである。
  論文  参考訳（メタデータ） (2026-02-03T12:17:25Z)
• RC-GRPO: Reward-Conditioned Group Relative Policy Optimization for Multi-Turn Tool Calling Agents [40.88916135445381]
  報酬は希少であり、探索は高価であるため、大規模言語モデルではマルチターンのツールコールは困難である。 一般的なレシピであるSFTとGRPOは、グループ内報酬の変動が低いときに停止する。 本稿では、離散的な報酬トークンを用いて、探索を制御可能なステアリング問題として扱うRC-GRPOを提案する。
  論文  参考訳（メタデータ） (2026-02-03T02:47:32Z)
• Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。 認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。 この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
  論文  参考訳（メタデータ） (2025-10-01T13:56:44Z)
• Implicit Actor Critic Coupling via a Supervised Learning Framework for RLVR [25.56828724912418]
  Reinforcement Learning with Verifiable Rewards (RLVR) の最近の進歩は、数学やプログラミングといった難解な推論課題に取り組むために、大規模言語モデル(LLM)に力を与えている。 約束にもかかわらず、RLVRパラダイムは大きな課題を生んでいる。 我々は,im$textbfP$licit $textbfA$ctor $textbfC$ritic couplingを実現する新しいRLVRフレームワークである$textbfPACS$を提案する。
  論文  参考訳（メタデータ） (2025-09-02T17:22:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。