論文の概要: Discounted Beta--Bernoulli Reward Estimation for Sample-Efficient Reinforcement Learning with Verifiable Rewards
- arxiv url: http://arxiv.org/abs/2603.18444v1
- Date: Thu, 19 Mar 2026 03:10:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-20 17:19:05.934266
- Title: Discounted Beta--Bernoulli Reward Estimation for Sample-Efficient Reinforcement Learning with Verifiable Rewards
- Title（参考訳）: 検証可能なリワードを用いたサンプル高能率強化学習のためのβ-Bernoulli Reward推定
- Authors: Haechan Kim, Soohyun Ryu, Gyouk Chu, Doohyuk Jang, Eunho Yang,
- Abstract要約: 検証可能な報酬付き強化学習(RLVR)は,大規模言語モデルの推論能力向上に有効な訓練後パラダイムとして登場した。
既存のグループベースのRLVR法は、しばしば深刻なサンプル不効率に悩まされる。
本研究では,RLVRを統計的推定の観点から,政策誘導分布から引き出されたサンプルとして報酬をモデル化することによって再構成する。
- 参考スコア（独自算出の注目度）: 33.87514827860037
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reinforcement learning with verifiable rewards (RLVR) has emerged as an effective post-training paradigm for improving the reasoning capabilities of large language models. However, existing group-based RLVR methods often suffer from severe sample inefficiency. This inefficiency stems from reliance on point estimation of rewards from a small number of rollouts, leading to high estimation variance, variance collapse, and ineffective utilization of generated responses. In this work, we reformulate RLVR from a statistical estimation perspective by modeling rewards as samples drawn from a policy-induced distribution and casting advantage computation as the problem of estimating the reward distribution from finite data. Building on this view, we propose Discounted Beta--Bernoulli (DBB) reward estimation, which leverages historical reward statistics for the non-stationary distribution. Although biased, the resulting estimator exhibits reduced and stable variance, theoretically avoids estimated variance collapse, and achieves lower mean squared error than standard point estimation. Extensive experiments across six in-distribution and three out-of-distribution reasoning benchmarks demonstrate that GRPO with DBB consistently outperforms naive GRPO, achieving average Acc@8 improvements of 3.22/2.42 points in-distribution and 12.49/6.92 points out-of-distribution on the 1.7B and 8B models, respectively, without additional computational cost or memory usage.
- Abstract（参考訳）: 検証可能な報酬付き強化学習(RLVR)は,大規模言語モデルの推論能力向上に有効な訓練後パラダイムとして登場した。
しかし、既存のグループベースのRLVR法は、しばしば深刻なサンプル不効率に悩まされる。
この非効率性は、少数のロールアウトからの報酬のポイント推定に依存することに起因する。
本研究では,政策誘導分布から引き出されたサンプルとして報酬をモデル化し,有限データから報酬分布を推定する問題として有利な計算を行うことにより,統計的推定の観点からRLVRを再構成する。
この観点から,非定常分布に対する歴史的報酬統計を利用するDBB(Discounted Beta-Bernoulli)報酬推定法を提案する。
偏りはあるものの、得られた推定器は小さく安定な分散を示し、理論上は分散の崩壊を回避し、標準点推定よりも平均2乗誤差を低くする。
6つのディストリビューションと3つのアウト・オブ・ディストリビューション・推論のベンチマークによる大規模な実験により、DBBを使用したGRPOは、計算コストやメモリ使用量を増やすことなく、平均3.22/2.42ポイントのAcc@8の改善を達成し、12.49/6.92ポイントの1.7Bモデルと8Bモデルのアウト・オブ・ディストリビューションをそれぞれ達成している。
関連論文リスト
- $V_{0.5}$: Generalist Value Model as a Prior for Sparse RL Rollouts [81.48669089692189]
一般値モデル(例えば$V_0.5$)は、コンテキスト内のモデル機能を明示的にエンコードすることで、事前訓練された値推定を実現する。
本稿では,このような値モデルにより予測されるベースラインと,スパースロールアウトから導出される経験的平均とを適応的に融合する$V_0.5$を提案する。
V_0.5$はGRPOとDAPOを大きく上回り、より高速な収束と約10%のパフォーマンス向上を実現している。
論文 参考訳（メタデータ） (2026-03-11T14:57:41Z) - Observationally Informed Adaptive Causal Experimental Design [55.998153710215654]
本稿では,観測モデルを基礎的先行として活用する新たなパラダイムであるアクティブ残留学習を提案する。
このアプローチは、実験的な焦点を、目標因果量の学習から、観察バイアスの補正に必要な残差を効率的に推定するへとシフトさせる。
合成および半合成ベンチマークの実験は、R-Designがベースラインを大幅に上回ることを示した。
論文 参考訳（メタデータ） (2026-03-04T06:52:37Z) - Mitigating Reward Hacking in RLHF via Bayesian Non-negative Reward Modeling [49.41422138354821]
非負の因子分析をBradley-Terry選好モデルに統合する原理的報酬モデリングフレームワークを提案する。
BNRMは、スパースで非負の潜在因子生成過程を通じて報酬を表す。
BNRMは報酬の過度な最適化を著しく軽減し、分布シフトによるロバスト性を改善し、強いベースラインよりも解釈可能な報酬分解をもたらすことを示す。
論文 参考訳（メタデータ） (2026-02-11T08:14:11Z) - Distribution-Aware Reward Estimation for Test-Time Reinforcement Learning [10.571602226707473]
テスト時強化学習(TTRL)は、大規模言語モデルでラベルなし入力を自己改善することを可能にする。
既存のTTRL法の多くは、決定論的報酬を生み出すために、ロールアウトよりも多数決(MV)に頼っている。
本研究では,報酬推定を1つの過半数結果から完全な経験的ロールアウト分布にシフトする分散アウェアリワード推定(DARE)を提案する。
論文 参考訳（メタデータ） (2026-01-29T14:48:02Z) - G$^2$RPO: Granular GRPO for Precise Reward in Flow Models [74.21206048155669]
本稿では,サンプリング方向の高精度かつ包括的な報酬評価を実現する新しいグラニュラー-GRPO(G$2$RPO)フレームワークを提案する。
複数の拡散スケールで計算された利点を集約するマルチグラニュラリティ・アドバンテージ・インテグレーション・モジュールを導入する。
G$2$RPOは既存のフローベースGRPOベースラインを著しく上回る。
論文 参考訳（メタデータ） (2025-10-02T12:57:12Z) - Doubly-Robust Estimation of Counterfactual Policy Mean Embeddings [23.3862001690226]
反ファクトポリシーの下での成果の分配を推定することは、推薦、広告、医療といった領域における意思決定にとって重要である。
再生カーネル空間(RKHS)における反事実分布全体を表す新しいフレームワーク-Counterfactual Policy Mean Embedding(CPME)を提案する。
プラグイン推定器と2倍頑健な推定器の両方を導入し、後者は結果埋め込みモデルと確率モデルの両方においてバイアスを補正することで収束率の向上を享受する。
論文 参考訳（メタデータ） (2025-06-03T12:16:46Z) - Regression Discontinuity Design with Distribution-Valued Outcomes [0.0]
本稿では,Regression Discontinuity Design (RDD)について紹介する。
標準のRDDフレームワークを、結果がスカラーではなく分散であるような設定に拡張する。
次に,提案手法を適用して,アメリカ合衆国における州内所得分布に対する州知事統制の効果について検討する。
論文 参考訳（メタデータ） (2025-04-04T23:12:35Z) - Distributional Reinforcement Learning with Dual Expectile-Quantile Regression [51.87411935256015]
分布RLに対する量子レグレッションアプローチは、任意の戻り分布を柔軟かつ効果的に学習する方法を提供する。
我々は,分布推定が消失することを示し,推定分布が急速に平均に崩壊することを実証的に観察した。
我々は,$L$の学習効率に感化され,効率のよい学習方法として,返却分布の期待値と量子値を共同で学習することを提案する。
論文 参考訳（メタデータ） (2023-05-26T12:30:05Z) - U-Statistics for Importance-Weighted Variational Inference [29.750633016889655]
重要重み付き変分推論における推定のばらつきを低減するために,U-statisticsを用いた手法を提案する。
実験により,U-Statistic variance reduction(U-Statistic variance)の低減は,モデルの範囲での推論性能の大幅な改善につながることが確認された。
論文 参考訳（メタデータ） (2023-02-27T16:08:43Z) - Mind the Trade-off: Debiasing NLU Models without Degrading the
In-distribution Performance [70.31427277842239]
信頼性正則化という新しいデバイアス化手法を導入する。
モデルがバイアスを悪用するのを防ぐと同時に、トレーニングのすべての例から学ぶのに十分なインセンティブを得られるようにします。
提案手法を3つのNLUタスクで評価し,前者とは対照的に,アウト・オブ・ディストリビューション・データセットの性能が向上することを示す。
論文 参考訳（メタデータ） (2020-05-01T11:22:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。