論文の概要: MaPP: A Unified Marginalized Posterior-Predictive Framework for Data-Efficient RLVR

• arxiv url: http://arxiv.org/abs/2609.34990v1
• Date: Mon, 28 Sep 2026 12:01:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-02 18:05:10.418338
• Title: MaPP: A Unified Marginalized Posterior-Predictive Framework for Data-Efficient RLVR
• Title（参考訳）: MaPP: データ効率のよいRLVRのための統一されたMarginalized Posterior-Predictive Framework
• Abstract要約: 検証可能な報酬を伴う強化学習は、ロールアウトとポリシー更新によってかなりのコストを発生させる。 データ効率のよいRLVRのための統合フレームワークであるMaPP(Marginalized Posterior-Predictive)を提案する。 MaPPは、標準群相対的優位性を、閉形式β-ビノミアル境界化による合成不変な内在的優位性に置き換える。 同じ後部を用いて、MaPPは不確実性を認識したプロンプト選択スコアを導出し、追加のロールアウトコストを伴わずにデータ効率を向上させる。
• 参考スコア（独自算出の注目度）: 23.25125436885512
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning with verifiable rewards (RLVR) improves the reasoning capabilities of large language models but incurs substantial costs from rollouts and policy updates. Online prompt selection improves efficiency by using per-prompt Bayesian posteriors to predict difficulty and prioritize informative prompts. However, existing methods overlook how reliably learning signals are extracted from sampled responses. In GRPO, a response's advantage depends on both its own outcome and the randomly sampled outcomes of its peers through group normalization. Our theoretical and experimental analyses show that uncertainty in group composition introduces composition noise, a non-vanishing variance component that imposes an irreducible lower bound on gradient estimation error and impairs downstream prompt selection. We propose MaPP (Marginalized Posterior-Predictive), a unified framework for data-efficient RLVR that denoises response-level advantage estimation and improves prompt selection using a shared Beta posterior. For each response, MaPP replaces the standard group-relative advantage with a composition-invariant intrinsic advantage through closed-form Beta-Binomial marginalization. The resulting posterior-predictive estimator has an error that provably diminishes as the posterior concentrates. Using the same posterior, MaPP derives an uncertainty-aware prompt selection score to improve data efficiency without additional rollout cost. Experiments on mathematics, planning, and visual geometry across five model backbones show that MaPP consistently outperforms GRPO and strong selection baselines, achieving up to +2.45 average accuracy improvement over the strongest baseline under the same rollout budget and setting a new state of the art.
• Abstract（参考訳）: 検証可能な報酬(RLVR)による強化学習は、大きな言語モデルの推論能力を改善するが、ロールアウトやポリシー更新によってかなりのコストが発生する。 オンラインのプロンプト選択は、困難を予測し、情報的プロンプトを優先順位付けするために、プロンプト毎のベイズ後部を用いて効率を向上する。 しかし、既存の手法では、サンプル応答から確実に学習信号が抽出されるかを見落としている。 GRPO では、応答の優位性は、自身の結果と、グループ正規化による仲間のランダムなサンプル結果の両方に依存する。 理論的および実験的分析により,群構成の不確実性は,勾配推定誤差の既約下限を課し,下流のプロンプト選択を損なう非消滅分散成分であるコンポジションノイズをもたらすことが示された。 データ効率のよいRLVRのための統合フレームワークであるMaPP(Marginalized Posterior-Predictive)を提案する。 各応答に対して、MaPPは標準群相対的優位性を、閉形式β-ビノミアルの辺化によって合成不変な内在的優位性に置き換える。 得られた後部予測推定器は、後部集中によって確実に減少する誤差を有する。 同じ後部を用いて、MaPPは不確実性を認識したプロンプト選択スコアを導出し、追加のロールアウトコストを伴わずにデータ効率を向上させる。 5つのモデルバックボーンにまたがる数学、計画、視覚幾何学の実験では、MaPPはGRPOと強い選択ベースラインを一貫して上回り、同じロールアウト予算の下で最強のベースラインに対して最大で2.45の精度向上を達成し、新しい最先端技術を確立している。

関連論文リスト

• TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning [52.67756371231985]
  検証可能な報酬を伴う強化学習(RLVR)は、大規模言語モデルにおける推論とエージェント的行動を強化するための有望なアプローチである。 本稿では,Tree Rollout Allocation for Contrastive Exploration (TRACE)について紹介する。 技術的には、TRACEはロールアウト予算をルートと中間プレフィックスの両方に割り当てている。
  論文  参考訳（メタデータ） (2026-06-09T17:16:03Z)
• RLVR without Ineffective Samples: Group Prioritized Off-Policy Optimization for LLM Reasoning [49.04912820721943]
  Group Prioritized Off-Policy Optimization (POPO)は、ロールアウトオーバーヘッドを発生させることなく、効果的なトレーニングバッチを活用するフレームワークである。 POPOは2つの重要なコンポーネントで構成されている。 POPOはRL微細化を著しく加速し、ロールアウトを著しく少なくして強力な推論性能を達成する。
  論文  参考訳（メタデータ） (2026-05-31T15:06:38Z)
• Advantage Collapse in Group Relative Policy Optimization: Diagnosis and Mitigation [13.272542054938258]
  非効率な勾配でトレーニングバッチの割合を定量化する最初の指標であるAdvantage Collapse Rate (ACR)を導入する。 次に、仮想報酬サンプルを注入するGRPOの軽量拡張であるAdaptive Virtual Sample Policy Optimization (AVSPO)を提案する。 AVSPOはGRPOに対して58～63%の利害崩壊を減少させ、すべてのモデルスケールで4～6ポイントの一貫した精度向上をもたらす。
  論文  参考訳（メタデータ） (2026-05-20T12:57:37Z)
• P^2O: Joint Policy and Prompt Optimization [74.45293488495592]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデル(LLM)の推論能力を高めるための強力なパラダイムとして登場した。 プロンプト最適化とポリシー最適化を相乗化する新しいフレームワークであるP2Oを提案する。
  論文  参考訳（メタデータ） (2026-03-23T12:08:47Z)
• Observationally Informed Adaptive Causal Experimental Design [55.998153710215654]
  本稿では,観測モデルを基礎的先行として活用する新たなパラダイムであるアクティブ残留学習を提案する。 このアプローチは、実験的な焦点を、目標因果量の学習から、観察バイアスの補正に必要な残差を効率的に推定するへとシフトさせる。 合成および半合成ベンチマークの実験は、R-Designがベースラインを大幅に上回ることを示した。
  論文  参考訳（メタデータ） (2026-03-04T06:52:37Z)
• Multi-Preference Optimization: Generalizing DPO via Set-Level Contrasts [17.243429150450886]
  応答集合全体の最適化のために,$textbfMulti-Preference Optimization (MPO)を提案する。 MPOは偏差に基づく重み付けを採用しており、平均的な報酬から最も逸脱する外れ値の応答を強調している。 理論的には、MPOはクエリ毎のレスポンス数に対して$mathcalOleft(frac1sqrtnright)$でアライメントバイアスを低減する。
  論文  参考訳（メタデータ） (2024-12-05T21:50:22Z)
• Uncertainty-Penalized Direct Preference Optimization [52.387088396044206]
  我々は、優先不確実性ペナル化スキームを導入し、DPOの悲観的な枠組みを開発する。 ペナル化は、不確実なサンプルの損失勾配を減衰させる損失の補正として機能する。 我々は,バニラDPOと比較して全体的な性能が向上し,高い不確実性選択/拒絶反応によるプロンプトの完成度も向上した。
  論文  参考訳（メタデータ） (2024-10-26T14:24:37Z)
• Self-Evolutionary Large Language Models through Uncertainty-Enhanced Preference Optimization [9.618391485742968]
  反復的選好最適化は、最近、大規模言語モデル(LLM)のデファクトトレーニングパラダイムの1つになっている。 我々は、信頼性の高いフィードバックでLLMを自己進化させる不確実性のあるtextbfPreference textbfOptimizationフレームワークを提案する。 筆者らのフレームワークは,ノイズ問題を大幅に軽減し,反復的選好最適化の性能を向上させる。
  論文  参考訳（メタデータ） (2024-09-17T14:05:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。