論文の概要: ProbePO: Sparse Probes, Redistributed Credit for Critic-Free LLM Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.24515v1
• Date: Sat, 17 Oct 2026 07:19:05 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 11:56:39.421381
• Title: ProbePO: Sparse Probes, Redistributed Credit for Critic-Free LLM Reinforcement Learning
• Title（参考訳）: ProbePO: Sparse Probes, 批判のないLLM強化学習のための再配布クレジット
• Abstract要約: 検証可能な報酬からの強化学習は、個々の推論ステップが結果にどのように貢献するかを解明し、すべての推論軌道に1つの終末報酬を割り当てる。 GRPOは、すべてのレスポンストークンに対してグループ正規化された利点をブロードキャストする一方、よりきめ細かいアプローチは、ポリシー更新に使用されるデータを変更可能な、高密度な補助的なロールアウトや分岐スキームに依存することが多い。 限定的なロールアウト予算で、どの部分的なソリューションを評価すべきで、どのように価値を評価すればよいのか。 ProbePOは報酬のない不確実性スコアで部分解法状態を選択し、上限条件下で期待された検証者報酬を推定する
• 参考スコア（独自算出の注目度）: 55.716259164434234
• License:
• Abstract: Reinforcement learning from verifiable rewards assigns one terminal reward to an entire reasoning trajectory, obscuring how individual reasoning steps contributed to the outcome. GRPO broadcasts a group-normalized advantage to every response token, while finer-grained approaches often rely on dense auxiliary rollouts or branching schemes that can also alter the data used for policy updates. We cast the missing middle as budgeted measurement: with a limited rollout budget, which partial solutions should be evaluated, and how should their value estimates refine credit? ProbePO selects partial-solution states with a reward-free uncertainty score and estimates their expected verifier rewards under a capped continuation budget. ProbePO redistributes, rather than replaces, GRPO's trajectory-level advantage across tokens while preserving each trajectory's mean token-level advantage; probe continuations serve only as measurements. Across three DeepSeekMath and Qwen-family models spanning 1.5B-7B parameters, ProbePO consistently outperforms GRPO and achieves the highest accuracy among the four evaluated methods in 16 of 18 model-benchmark comparisons. Against dense-probing VinePPO on DeepSeekMath-7B, ProbePO achieves higher accuracy on all six benchmarks with 76% less end-to-end training time.
• Abstract（参考訳）: 検証可能な報酬からの強化学習は、個々の推論ステップが結果にどのように貢献するかを解明し、すべての推論軌道に1つの終末報酬を割り当てる。 GRPOは、すべてのレスポンストークンに対してグループ正規化された利点をブロードキャストする一方、よりきめ細かいアプローチは、ポリシー更新に使用されるデータを変更可能な、高密度な補助的なロールアウトや分岐スキームに依存することが多い。 限定的なロールアウト予算で、どの部分的なソリューションを評価するべきか、どのように価値を評価すればよいのか。 ProbePOは、報酬のない不確実性スコアで部分解法状態を選択し、キャップ付継続予算の下で期待された検証者報酬を推定する。 ProbePO は置換ではなく、GRPO のトークン間のトラジェクトリレベルの優位性を維持しながら、各トラジェクトリの平均トークンレベルの優位性を保ち、プローブ継続は測定としてのみ機能する。 1.5B-7Bパラメータにまたがる3つのDeepSeekMathおよびQwenファミリーモデルに対して、ProbePOはGRPOを一貫して上回り、18のモデルベンチマーク比較のうち、4つの評価手法の中で最高精度を達成している。 DeepSeekMath-7B上の密度の高いVinePPOに対して、ProbePOは、エンドツーエンドのトレーニング時間を76%削減した6つのベンチマークすべてで、より高い精度を実現している。

関連論文リスト

• Range-GRPO: Policy Optimization via Pairwise Relations among Reward Intervals [13.992999551683523]
  LLM-as-a-Judgeはラベルなし応答に対してスケーラブルな擬似リワードを提供するが、単一のポイントスコアは報酬の不確実性を表すものではない。 本研究では,制限付きラベル付きデータとラベルなしプロンプトを組み合わせた半教師付きポストトレーニングフレームワークであるRange-GRPOを提案する。
  論文  参考訳（メタデータ） (2026-10-01T12:16:34Z)
• Speculative Evaluation of Stochastic LLMs [48.902430583833585]
  投機的評価は、短い一様パイロットと、タスク毎の成功回数のプールを実行する。 HBN-asyncは、部分的なパイロットフィードバックからの継続を投機的に実行し、最終的なアロケーションによって選択されたものを保持する。 1タスクあたり8-64のロールアウト予算では、投機的評価は、Uniformに対する分散を平均12.8%から33.6%削減する。
  論文  参考訳（メタデータ） (2026-09-23T09:20:22Z)
• Learn What's Left, Not What's Mastered: Saturation Aware Advantage Reweighting for Multi-Reward Policy Optimization [60.89431018071735]
  グループ相対的な優位性を持つ強化学習は、訓練後の言語モデル推論のデファクトスタンダードとなっている。 異なる報酬プロファイルを持つロールアウトは、同じ利点を享受でき、現在の飽和度に関わらず、全ての目的が固定相対重みで最適化されることを示す。 本研究では,各報酬目標を独立に標準化し,目標飽和度をバッチレベルで推定した値に従って貢献を適応的に割引する飽和度認識再重み付けを導入する。
  論文  参考訳（メタデータ） (2026-08-17T04:07:50Z)
• TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning [52.67756371231985]
  検証可能な報酬を伴う強化学習(RLVR)は、大規模言語モデルにおける推論とエージェント的行動を強化するための有望なアプローチである。 本稿では,Tree Rollout Allocation for Contrastive Exploration (TRACE)について紹介する。 技術的には、TRACEはロールアウト予算をルートと中間プレフィックスの両方に割り当てている。
  論文  参考訳（メタデータ） (2026-06-09T17:16:03Z)
• VeriGate: Verifier-Gated Step-Level Supervision for GRPO [51.26100506256885]
  グループ相対政策最適化は、検証者に基づく結果報酬を伴う推論モデルをトレーニングするための効果的なレシピである。 GRPO の検証子付き拡張である VeriGate を提案し,これらの制限を3つの設計選択で解決する。 We show that VeriGate improves average accuracy around 20% and 12% for 1.5B and 7B models respectively。
  論文  参考訳（メタデータ） (2026-05-28T18:20:32Z)
• Advantage Collapse in Group Relative Policy Optimization: Diagnosis and Mitigation [13.272542054938258]
  非効率な勾配でトレーニングバッチの割合を定量化する最初の指標であるAdvantage Collapse Rate (ACR)を導入する。 次に、仮想報酬サンプルを注入するGRPOの軽量拡張であるAdaptive Virtual Sample Policy Optimization (AVSPO)を提案する。 AVSPOはGRPOに対して58～63%の利害崩壊を減少させ、すべてのモデルスケールで4～6ポイントの一貫した精度向上をもたらす。
  論文  参考訳（メタデータ） (2026-05-20T12:57:37Z)
• Unifying Group-Relative and Self-Distillation Policy Optimization via Sample Routing [79.88256756334327]
  自己蒸留政策最適化(SDPO)は、より密集したロジットレベルの監視を提供することによってこの問題に対処する。 サンプル制御ポリシー最適化(SRPO)を提案する。 SRPOは、試料をGRPOの報酬整合強化に向け、サンプルをSDPOの目標ロジットレベルの補正に向ける。
  論文  参考訳（メタデータ） (2026-04-02T17:29:18Z)
• PRPO: Aligning Process Reward with Outcome Reward in Policy Optimization [15.965340493880701]
  我々は、結果の信頼性とプロセスレベルのガイダンスを、批判のないフレームワークで組み合わせたプロセス相対政策最適化(PRPO)を導入する。 PRPOは意味的手がかりに基づいて推論シーケンスを分割し、PRMスコアをトークンレベルの利点に正規化し、それらの分布を結果の利点と整合させる。 MATH500では、PRPOはQwen2.5-Math-1.5Bの精度を61.2%から64.4%に改善した。
  論文  参考訳（メタデータ） (2026-01-12T04:04:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。