論文の概要: RLVR is a Kernel, Not a Function: Statistical Inference for pass@$k$ Crossovers
- arxiv url: http://arxiv.org/abs/2609.22547v1
- Date: Fri, 18 Sep 2026 20:03:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-22 20:29:00.446556
- Title: RLVR is a Kernel, Not a Function: Statistical Inference for pass@$k$ Crossovers
- Title（参考訳）: RLVRはカーネルであり関数ではない: pass@$k$ Crossoversの統計的推論
- Abstract要約: トレーニングが他のプロンプトを改善した場合でも、最も難しいプロンプトの少数派の損失が早期リードを覆す可能性があることを示す。
また、なぜ交差を検知できないのかは、交差しないという意味ではなく、さらに多くのプロンプトが1回のプロンプト当たりの回答以上の助けとなるのかを示す。
- 参考スコア（独自算出の注目度）: 13.448978350659266
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reinforcement learning with verifiable rewards (RLVR) often improves pass@1 while falling behind its base model at larger sampling budgets $k$, a crossover read as evidence that RLVR only sharpens existing capability. We identify two limits to this reading. First, a visible crossing need not be statistically established: comparing models on the same prompts, we build confidence bands across sampling budgets $k$ that require evidence of both an early gain and a later loss. Across five public RLVR pairs no crossing is statistically established in the initial evaluations, while a 32k-token evaluation on fresh prompts locates a reversal with first loss between 11 and 61 samples; power analysis shows why failure to detect a crossing need not mean no crossing, and why more prompts can help more than more answers per prompt. Second, base success alone does not determine what RLVR does to a prompt: prompts with the same base success rate have different post-RL success rates, and these differences repeat across independent generation halves. The relationship is a conditional distribution---a Markov kernel---rather than a single curve, and fitting it predicts crossings in independent generations for the same prompts and corrects the simple model's power estimates. Theory further shows how losses on a minority of the hardest prompts can overturn an early lead even when training improves other prompts, separating evidence that a crossover exists from claims about what it means for capability.
- Abstract（参考訳）: 検証可能な報酬(RLVR)による強化学習は、しばしばpass@1を改善すると同時に、より大規模なサンプリング予算でベースモデルに遅れている。
私たちはこの読書の限界を2つ挙げる。
まず、可視的交差は統計的に確立される必要はない。同じプロンプト上のモデルを比較して、早期の利得とその後の損失の両方の証拠を必要とするサンプリング予算$k$の信頼バンドを構築する。
最初の評価では、5つの公開RLVRペア間の交差が統計的に確立されているが、新しいプロンプトに対する32kトークンの評価では、11から61サンプルの第一の損失を伴う逆転が検出されている。
第2に、ベース成功だけでは、RLVRがプロンプトに何をするかを決定できない:同じベース成功率のプロンプトは、RL後の成功率が異なる。
この関係は条件分布であり、マルコフ核は1つの曲線ではなく、同じプロンプトに対して独立世代の交差を予測し、単純なモデルのパワー推定を補正する。
理論はさらに、最も難しいプロンプトの少数派に対する損失が、訓練が他のプロンプトを改善した場合でも、早期のリードを覆す可能性があることを示し、それが能力にとって何を意味するかについての主張からクロスオーバーが存在するという証拠を分離している。
関連論文リスト
- Co-RL: Unsupervised Reasoning Emerges from Diverse Cohort in Multi-agent RL [55.05743310621117]
Co-RLは、パラメータを共有しない複数の分離されたモデルを、仲間から派生した報酬を使ってRLを通じて同時に最適化するフレームワークである。
我々は,コホート多様性の増大が,自己強化フィードバックループを駆動する相関誤差を減少させることを示す。
論文 参考訳（メタデータ） (2026-08-18T01:16:02Z) - Verifier-Induced Support Reshaping in On-Policy Optimization [27.782412748608255]
検証可能な報酬(RLVR)によるオンライン強化学習は、現在の目標を改善できる一方で、後の目標に対する行動の成功は、サンプリングや強化が極めて稀であることを示す。
我々は、この検証者によるサポートの再構築と呼び、有効な報奨支援を、固定されたロールアウト予算内で到達可能な軌道として定義する。
論文 参考訳（メタデータ） (2026-07-31T19:05:43Z) - SVR-R1: Bootstrapping Multi-modal Reasoning with Self-verification in Reinforcement Learning [47.4480595602701]
本稿では、モデル自身の検証をマルチモーダル推論のための学習信号に変換するマルチターンRLフレームワークであるSelf-Verified Reasoner(SVR-R1)を紹介する。
各クエリに対して、同じ重みを使って回答を提案し、バイナリの自己予測(Yes/No)を発行する。
No'は第2のチャンスを再考し、"Yes"(ターンキャップ)は結果ベースの報酬を計算するためのアウトプットを確定する。
論文 参考訳（メタデータ） (2026-07-13T00:21:30Z) - When RLVR Shrinks the Reasoning Boundary: Diagnosing Pass@k Inversion [0.0]
検証可能な報酬(RLVR)を用いた強化学習は、繰り返しサンプリング時にモデルを悪化させながら、一サンプル精度を向上させることができる。
トレーニング後、このポリシーはベースモデルよりも小さな問題を、大きな$k$で解決する可能性がある。
失敗は境界プロンプトに集中しており、ベースモデルにはサンプリングによって回復できる稀な正しい軌道が含まれており、有限のRLVRロールアウトグループに確実に現れるには小さすぎる。
論文 参考訳（メタデータ） (2026-07-12T17:17:18Z) - Understanding Diversity Collapse in RLVR via the Lens of Overtraining [78.37408098404312]
検証可能な報酬付き強化学習(RLVR)は,大規模言語モデルの推論能力を高めるための重要なアプローチとなっている。
我々は、この多様性の崩壊をエンフェーバートレーニングのレンズを通してフォーマルに定式化する
本稿では,各問題の限界寄与を推論境界に推定することにより,オーバートレーニングから最適化をリダイレクトするemphBayesian boundary Gating (BBG)を提案する。
論文 参考訳（メタデータ） (2026-06-13T20:13:37Z) - Leveraging Error Diversity in Group Rollouts for Reinforcement Learning [61.10980882949414]
Reinforcement Learning from Verifiable Rewards (RLVR) は通常、プロンプト毎に複数のレスポンスをサンプリングし、個々の正確性に基づいてバイナリ報酬を割り当てる。
グループ内エラーの多様性に基づいて,不正なロールアウトに対して有利なシグナルを変調するために,EDAS(Error Diversity Advantage Shaping)を提案する。
EDASは、任意のRLVRアルゴリズムにシームレスに統合できるシンプルなポストホック調整として動作する。
論文 参考訳（メタデータ） (2026-05-17T08:52:31Z) - Detecting RLVR Training Data via Structural Convergence of Reasoning [31.260852555788205]
検証可能な報酬(RLVR)による強化学習は、現代の推論モデルのトレーニングの中心である。
RLVRは特徴的な行動シグネチャを誘導することを示す。
この崩壊を定量化する単純なブラックボックス検出器であるMin-$k$NN Distanceを導入する。
論文 参考訳（メタデータ） (2026-02-12T10:17:32Z) - Beyond Correctness: Learning Robust Reasoning via Transfer [51.403609251508904]
我々は単純な哲学的見解を採用するが、堅牢な推論はそれを作った心を超えて有用であるべきである。
本稿では,トランスファーブル・リワードを用いた強化学習を紹介し,トランスファーブル・リワードによるロバストネスの運用について述べる。
提案手法は,最終回答精度を向上しながらサンプリング一貫性を向上し,ほぼ少ないトレーニングステップで同等のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2026-02-09T10:41:44Z) - Beyond Variance: Prompt-Efficient RLVR via Rare-Event Amplification and Bidirectional Pairing [21.946965363578087]
検証可能な報酬付き強化学習(RLVR)は、決定論的結果推論タスクにおいて、大規模言語モデルのトレーニングに有効である。
以前の研究によると、RLVRはプロンプトが少ないが、迅速な選択はトレーニング精度のばらつきにのみ基づくことが多い。
有効なミニバッチは、(i)信頼できる正のアンカーと(ii)稀な障害からの明確な負の学習信号の両方を提供するべきである。
論文 参考訳（メタデータ） (2026-02-03T12:17:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。