論文の概要: Learning with a Single Rollout via Monte Carlo Pass@k Critic

• arxiv url: http://arxiv.org/abs/2606.25451v1
• Date: Wed, 24 Jun 2026 06:26:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 17:05:30.24471
• Title: Learning with a Single Rollout via Monte Carlo Pass@k Critic
• Title（参考訳）: Monte Carlo Pass@k Criticによる単一ロールアウトによる学習
• Abstract要約: 拡張学習におけるトークンレベルの利点を推定することは、エピソード体験コレクションのスケールアップが高価であるため困難である。 言語モデルのためのRLにおけるトークンレベルの信用代入を特徴とする単一ロールアウトポリシ最適化について検討する。 SR-PPOは、Pass@128の成功率の連続的な上昇とともに、安定した学習力学を示すことを示す。
• 参考スコア（独自算出の注目度）: 41.21709991031287
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Estimating token-level advantages in reinforcement learning (RL) for language models remains challenging because scaling up episodic experience collection is expensive. The difficulty intensifies for baseline advantage estimation methods, where repeated sampling causes trajectories to diverge into substantially different reasoning prefixes. In this context, RL algorithms such as GRPO prove limited: an outcome reward is too sparse to be attributed to specific actions like intermediate steps, and comparisons across sampled traces are non-trivial because they are heterogeneous. To mitigate both the computational cost of repeated sampling and the difficulty of credit assignment, we study single-rollout proximal policy optimization (SR-PPO) featuring token-level credit assignment in RL for language models. Instead of estimating advantages by normalizing episodic returns within the candidate group, we train a calibrated token-level credit critic using Monte Carlo outcomes from one rollout per prompt. Specifically, we use the critic to predict the Pass@k success probability at the prompt prefix, which is derived from a Pass@1 attempt. This choice yields a more selective learning signal than Pass@1: it discounts easily solved prefixes while prioritizing hard ones whose success probability remains marginal. We show that as $k$ increases, Pass@k converges to a reachability indicator, reflecting whether a prefix can lead to at least one successful continuation. In an explicit state graph, the limit ($k \rightarrow \infty$) can be computed in $O(|V|+|E|)$ time, offering a promising surrogate for direct credit assignment without the need to sample contrastive traces. As an initial validation, SR-PPO exhibits stable learning dynamics, along with consistent gains in Pass@128 success rates on mathematical reasoning benchmarks such as HMMT26 and AIME24.
• Abstract（参考訳）: 言語モデルの強化学習(RL)におけるトークンレベルの利点を推定することは、エピソード体験コレクションのスケールアップが高価であるため、依然として困難である。 この難易度は、反復サンプリングによって軌跡が実質的に異なる推論接頭辞に発散する、ベースライン優位性推定法を強くする。 この文脈では、GRPOのようなRLアルゴリズムは限定的であり、結果の報酬は中間ステップのような特定のアクションに帰属するには小さすぎること、サンプルトレース間の比較は不均一であるため非自明である。 繰り返しサンプリングの計算コストと信用代入の難しさを両立させるため,言語モデルにおけるRLのトークンレベルクレジット代入を特徴とする単一ロールアウト近似ポリシー最適化(SR-PPO)について検討した。 候補グループ内のエピソードリターンを正規化することで利点を推定する代わりに、モンテカルロの結果を1回ずつロールアウトすることで、キャリブレーションされたトークンレベルの信用評論家を訓練する。 具体的には、Pass@1の試みから派生した、プロンプトプレフィックスにおけるPass@k成功確率を予測するために、批評家を使用します。 この選択により、Pass@1よりも選択的な学習信号が得られる。 k$が増加するにつれて、Pass@kはリーチビリティインジケータに収束し、プレフィックスが少なくとも1つの成功コンティニュエーションに繋がるかどうかを反映する。 明示的な状態グラフでは、(k \rightarrow \infty$) の極限は $O(|V|+|E|)$ time で計算でき、対照的なトレースをサンプリングすることなく直接クレジット代入の有望なサロゲートを提供する。 最初の検証として、SR-PPOは安定な学習力学を示し、HMMT26やAIME24のような数学的推論ベンチマークにおけるPass@128の成功率は一貫して上昇する。

関連論文リスト

• When Does Trajectory-Level Supervision Permit Efficient Offline Reinforcement Learning? [10.71573326176278]
  我々は、結果レベルの監督からオフライン政策最適化の統計理論を開発する。 OPACは、報酬モデルを学び、軌道レベルのラベルからポリシーを最適化する悲観的なアクターアルゴリズムである。 一般化された結果に基づくオフラインRLについて検討し,各ステップ当たりの報酬の非線形集約によって誘導されるトラジェクトリレベルの量について検討した。
  論文  参考訳（メタデータ） (2026-06-16T22:55:45Z)
• Unleashing Implicit Rewards: Prefix-Value Learning for Distribution-Level Optimization [74.91418266859297]
  インプシットプロセス報酬モデル(PRM)は、推論プロセスに沿ってきめ細かな報酬信号を提供する。 トレーニングはシーケンスレベルの集約のみを制限しますが、推論はローカルステップの品質を反映するためにトークンレベルのスコアが必要です。 本稿では,予測精度を推定するプレフィックス条件付き値関数を直接学習する新しいインプリシット・プレフィックス・バリュー・リワード・モデル(IPVRM)を提案する。 また,サンプルトークンと高確率候補トークンの両方に対してTDの利点を演算する分散レベルRL(DistRL)を提案する。
  論文  参考訳（メタデータ） (2026-04-14T18:19:54Z)
• Post-Training with Policy Gradients: Optimality and the Base Model Barrier [27.674563695368665]
  結果とプロセス報酬を伴う線形自己回帰モデルの訓練後評価について検討する。 我々は、ポリシー勾配(PG)の変種が、本質的に最小限の報酬クエリ数を持つ1-varepsilon$を実現できることを証明した。
  論文  参考訳（メタデータ） (2026-03-07T00:25:53Z)
• Save the Good Prefix: Precise Error Penalization via Process-Supervised RL to Enhance LLM Reasoning [59.76691952347156]
  強化学習(RL)は,大規模言語モデル(LLM)の推論能力向上のための強力なフレームワークとして登場した。 既存のRLアプローチの多くは疎結果報酬に依存しており、部分的に成功した解では正しい中間段階を信用できない。 本稿では、PRMを用いてRL中の最初のエラーをローカライズする検証済み事前修正ポリシー最適化(VPPO)を提案する。
  論文  参考訳（メタデータ） (2026-01-26T21:38:20Z)
• ZIP-RC: Optimizing Test-Time Compute via Zero-Overhead Joint Reward-Cost Prediction [57.799425838564]
  ZIP-RCは、モデルに報酬とコストのゼロオーバーヘッド推論時間予測を持たせる適応推論手法である。 ZIP-RCは、同じまたはより低い平均コストで過半数投票よりも最大12%精度が向上する。
  論文  参考訳（メタデータ） (2025-12-01T09:44:31Z)
• Exploring the Limit of Outcome Reward for Learning Mathematical Reasoning [65.2421542320293]
  推論能力は汎用知能の重要な構成要素である。 OpenAIのoシリーズモデルなどのプロプライエタリ企業による最近の進歩は、推論タスクに顕著な進歩をもたらした。 本稿では、数学的推論タスクのための textbfOutcome textbfREwtextbfArd ベースの強化 textbfLearning により達成できる性能限界を追求する新しい RL フレームワーク OREAL を提案する。
  論文  参考訳（メタデータ） (2025-02-10T18:57:29Z)
• Reinforcement Learning from Human Feedback without Reward Inference: Model-Free Algorithm and Instance-Dependent Analysis [16.288866201806382]
  モデルフリーなRLHFベストポリシー識別アルゴリズムである$mathsfBSAD$を、明示的な報酬モデル推論なしで開発する。 アルゴリズムは、人選好情報から直接、その最適方針を後方方向に識別する。
  論文  参考訳（メタデータ） (2024-06-11T17:01:41Z)
• Supervised Advantage Actor-Critic for Recommender Systems [76.7066594130961]
  本稿では、RL成分を学習するための負のサンプリング戦略を提案し、それを教師付き逐次学習と組み合わせる。 サンプル化された(負の)作用 (items) に基づいて、平均ケース上での正の作用の「アドバンテージ」を計算することができる。 SNQNとSA2Cを4つのシーケンシャルレコメンデーションモデルでインスタンス化し、2つの実世界のデータセットで実験を行う。
  論文  参考訳（メタデータ） (2021-11-05T12:51:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。