論文の概要: There Is No Free Lunch in RLVR: Every pass@1 Gain Has a pass@k Price

• arxiv url: http://arxiv.org/abs/2610.39295v1
• Date: Thu, 29 Oct 2026 03:43:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.454387
• Title: There Is No Free Lunch in RLVR: Every pass@1 Gain Has a pass@k Price
• Title（参考訳）: RLVRには無料のランチがない:すべてのパス@1ゲインにパス@kの価格がある
• Abstract要約: 検証可能な報酬(RLVR)による強化学習は、最初の試行において言語モデルがより多くの問題を解き、試行数が増えると少ない。 排他的な特殊化の下では、pass@1を発行する更新はすべて、いくつかのプロンプトの成功を厳密に低下させる。 同じ傾きの恒等式はエントロピー崩壊とエントロピー・パフォーマンス法則を識別可能な指数で生成する。
• 参考スコア（独自算出の注目度）: 1.8750885569010352
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning with verifiable rewards (RLVR) makes a language model solve more problems on the first try and fewer when given many tries: it raises pass@1 while the base model overtakes it at large sampling budget k. Is this a failure of RL to add reasoning, or a transient that more training removes? We settle the question with a theorem. The reversal is a price, and we compute its exact rate. Modeling RLVR as an exponential tilt of a base policy over strategies shared across prompts, we prove that under exclusive specialization every update that raises pass@1 strictly lowers the success of some prompt; a strictly positive price on prompts (Stiemke duality) is the exact condition, and being merely the best strategy on a prompt is provably not enough. When the loss reaches the hardest prompts, it forces a pass@k crossover, and the number of crossings is at most the sign variation of the shift in per-prompt success, a totally positive bound that is tight and that recovers the known single-crossover result as its order-preserving case. The crossover is not a bug to patch: a constrained update traces the exact pass@1 versus pass@k frontier, and removing the crossover entirely costs the entire pass@1 gain. The same tilt identity yields entropy collapse and the entropy-performance law with an identifiable exponent, unifying two literatures under one mechanism. Reinforcement cannot widen the reasoning frontier; it can only move along it, at a price we make measurable by a diagnostic that reads the bound, the order-preserving test, and the price from any evaluation log. There is no free lunch, only a price.
• Abstract（参考訳）: 検証可能な報酬(RLVR)による強化学習は、最初の試行において言語モデルにより多くの問題を解決し、多くの試行が与えられた場合、より少ない問題を解決します。 これは、推論を追加するRLの失敗なのか、それとも、より多くのトレーニングが取り除く過渡性なのか? 私たちはその問題を定理で解決する。 逆転は価格であり、私たちはその正確なレートを計算します。 RLVRをプロンプト間で共有される戦略に対する基本方針の指数関数的な傾きとしてモデル化することで、pass@1を上昇させる更新の排他的特殊化が、いくつかのプロンプトの成功を厳密に低下させることが証明される。 損失が最も困難なプロンプトに達すると、pass@kクロスオーバーを強制し、交差する回数は、少なくともプロンプト当たりの成功のシフトの兆候である。 クロスオーバーはパッチのバグではない: 制限されたアップデートは、pass@1とpass@kフロンティアを正確にトレースする。 同じ傾きの同一性はエントロピー崩壊とエントロピー性能の法則を識別可能な指数で生成し、二つの文献を一つのメカニズムで統一する。 強化は、推論フロンティアを広げることはできない。それは、境界値、順序保存テスト、および任意の評価ログからの価格を読み取る診断によって測定可能な価格で、それに沿ってのみ移動することができる。 無料のランチはなく、値段のみです。

関連論文リスト

• RLVR is a Kernel, Not a Function: Statistical Inference for pass@$k$ Crossovers [13.448978350659266]
  トレーニングが他のプロンプトを改善した場合でも、最も難しいプロンプトの少数派の損失が早期リードを覆す可能性があることを示す。 また、なぜ交差を検知できないのかは、交差しないという意味ではなく、さらに多くのプロンプトが1回のプロンプト当たりの回答以上の助けとなるのかを示す。
  論文  参考訳（メタデータ） (2026-09-18T20:03:44Z)
• Learning with a Single Rollout via Monte Carlo Pass@k Critic [41.21709991031287]
  拡張学習におけるトークンレベルの利点を推定することは、エピソード体験コレクションのスケールアップが高価であるため困難である。 言語モデルのためのRLにおけるトークンレベルの信用代入を特徴とする単一ロールアウトポリシ最適化について検討する。 SR-PPOは、Pass@128の成功率の連続的な上昇とともに、安定した学習力学を示すことを示す。
  論文  参考訳（メタデータ） (2026-06-24T06:26:34Z)
• Understanding Diversity Collapse in RLVR via the Lens of Overtraining [78.37408098404312]
  検証可能な報酬付き強化学習(RLVR)は,大規模言語モデルの推論能力を高めるための重要なアプローチとなっている。 我々は、この多様性の崩壊をエンフェーバートレーニングのレンズを通してフォーマルに定式化する 本稿では,各問題の限界寄与を推論境界に推定することにより,オーバートレーニングから最適化をリダイレクトするemphBayesian boundary Gating (BBG)を提案する。
  論文  参考訳（メタデータ） (2026-06-13T20:13:37Z)
• Why Pass@k Optimization Can Degrade Pass@1: Prompt Interference in LLM Post-training [25.817291413560024]
  Pass@kは、大きな言語モデルタスクを検証するために広く使われているパフォーマンス指標である。 pass@kは改善され、pass@1はそのようなメソッドで分解される。 pass@$k$ ポリシー勾配はpass@1グラデーションと競合する可能性がある。
  論文  参考訳（メタデータ） (2026-02-24T18:43:08Z)
• Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。 認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。 この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
  論文  参考訳（メタデータ） (2025-10-01T13:56:44Z)
• The Choice of Divergence: A Neglected Key to Mitigating Diversity Collapse in Reinforcement Learning with Verifiable Reward [57.56453588632619]
  Reinforcement Learning with Verifiable Reward (RLVR) を用いた細調整大型言語モデル(LLM)における中心的パラドックスは、多目的性能の頻繁な劣化である。 これはしばしば破滅的な忘れが伴い、モデルが以前獲得したスキルを失う。 我々は,標準RLVR目標には知識保持のための重要なメカニズムが欠如していると主張している。
  論文  参考訳（メタデータ） (2025-09-09T06:34:32Z)
• WR-ONE2SET: Towards Well-Calibrated Keyphrase Generation [57.11538133231843]
  キーワード生成は、入力文書を要約する短いフレーズを自動的に生成することを目的としている。 最近登場したONE2SETパラダイムは、キーフレーズをセットとして生成し、競争性能を達成した。 本稿では, ONE2SET を拡張した WR-ONE2SET を提案する。
  論文  参考訳（メタデータ） (2022-11-13T09:56:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。