論文の概要: What Outcome RL Buys: Finishing, Reliability, Rarely Reach

• arxiv url: http://arxiv.org/abs/2610.34894v1
• Date: Mon, 26 Oct 2026 06:14:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.771349
• Title: What Outcome RL Buys: Finishing, Reliability, Rarely Reach
• Title（参考訳）: アウトカムRLの買収内容:フィニッシュ、信頼性、レアリー・リーチ
• Abstract要約: 20のリリースしたRLモデルのpass@1と、開始した思考モデルのpass@1を比較した。 我々は、それぞれの変更をpass@1を3つに分けます。予算が切れる前に答えるフィニッシュ対策。Reachは、RLが8つの試みでベースが間違って答えたことを解決します。
• 参考スコア（独自算出の注目度）: 11.907264672363718
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Outcome RL raises pass@1 but not pass@k at large k (Yue et al., 2025). But every pass@1 is scored under a token budget. Every recipe also trains under one. On physics and math problems at fixed token budgets, we compare the pass@1 of 20 released RL models (1.5B to 32B) with that of the thinking models they started from. We ask whether each pass@1 gain is changed behaviour or new knowledge. We divide each change in pass@1 into three parts. Finishing measures answering before the budget runs out. Reliability measures being right once finished. Reach measures problems RL solves that its base answered wrongly in all eight tries, minus problems the base solves that RL answered wrongly in all eight. We find four things. (1) Where the base often hits the token budget before answering, most of the change, gain or loss, is finishing (82% at 4k and 8k). Given more tokens, the base closes most of the finishing gap itself. (2) Where the base has enough tokens, the gain is reliability: the RL model is graded right more often, even on problems both finish. (3) By our definition, RL rarely solves what its base cannot. Reach adds at most 2.1 percentage points on any of our four physics and math sets. We checked 144 physics problems that only the RL model solved. Of these, 3.5% hold up when resampled or read. In a random sample, nine of ten new RL steps a human confirmed also appear in the base's samples. (4) In a small-scale RL run on an 8B model, the gain on new problems is finishing, with reliability flat. Supplying each problem's physical setup was not shown to improve on plain RL.
• Abstract（参考訳）: Outcome RL raises pass@1 but not pass@k at large k (Yue et al , 2025)。 しかし、すべてのpass@1はトークンの予算でスコアされる。 どのレシピも1本以下で練習する。 固定トークン予算における物理問題と数学問題について、20種類のRLモデル(1.5Bから32B)のパス@1と、そこから始まった思考モデルの比較を行った。 それぞれのpass@1ゲインが変更行動なのか、それとも新しい知識なのかを問う。 pass@1のそれぞれの変更を3つに分けます。 予算が尽きる前に解決する措置。 信頼性対策は一旦終了する。 リーチは、RLが8つの試みすべてにおいて、そのベースが誤って答えたことを解き、ベースがRLが8つすべてで間違った答えをしたことを減じる。 4つの発見がある。 1) 回答する前に基地がトークンの予算に達する場合、ほとんどの変更、利得、損失が終了する(4kと8kでは82%)。 トークンが増えると、ベースはフィニッシュするギャップのほとんどを閉じる。 2) ベースが十分なトークンを持っている場合は、信頼性が向上します。 (3) 私たちの定義では、RLはその基底ができないことをほとんど解決しない。 リーチは、我々の4つの物理学と数学のセットのいずれにおいても、少なくとも2.1ポイントを加算する。 RLモデルのみを解いた物理問題144点を確認した。 そのうち3.5%は再サンプリングまたは読み上げ時に持ちこたえる。 ランダムなサンプルでは、人間が確認した新しいRLステップの9つが、基地のサンプルにも現れる。 (4) 小型のRLを8Bモデルで動作させると、新しい問題の増加が完了し、信頼性が平坦になる。 各問題の物理的設定の供給は、通常のRLでは改善されなかった。

関連論文リスト

• Where RL Breaks: Localizing and Repairing Failures via Targeted Continued Pretraining [20.698144423804177]
  プリトレーニングされたコーパスからテキストを取得し、RLの前にベースモデルの事前トレーニングを続けるために、フェール$n$-gramsを使用します。 本稿では,(1) GSM8KでRLで学習したOLMo2とQwen3モデル,(2)数学,常識,知識の混合,(3)一般数学と科学の推論について評価する。
  論文  参考訳（メタデータ） (2026-10-19T05:48:15Z)
• What RL Brings to Reasoning: A Few Decisions the Base Model Would Not Make [29.80754976785316]
  検証可能な報酬(RLVR)による強化学習は、数学的推論を大幅に改善するが、ベースモデルに追加するものは未だ不明である。 本研究は,Qwen3-4B-Base上での世代間介入により,120 AIME問題に対してRLを学習した相手の獲得率を測定した。 ベースモデルを"Alright"で開始させると、RLゲインの35%が回復します。
  論文  参考訳（メタデータ） (2026-10-17T12:34:56Z)
• Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
  現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。 本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。 8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
  論文  参考訳（メタデータ） (2026-06-02T06:51:15Z)
• Beyond Reasoning: Reinforcement Learning Unlocks Parametric Knowledge in LLMs [59.62441340813425]
  我々は、強化学習がパラメトリック知識の直接的リコールを改善するかどうかを検討する。 3つのモデルファミリと複数の事実QAベンチマークで、RLの平均相対利得は27%である。 機械的には、RLは主に新しい事実を得るのではなく、既存の知識の確率質量を再分配する。
  論文  参考訳（メタデータ） (2026-05-08T02:40:12Z)
• Rethinking RL for LLM Reasoning: It's Sparse Policy Selection, Not Capability Learning [16.73341451930523]
  強化学習は新たな戦略を学ばず、ベースモデルがすでに持っている解に対して確率質量を再分配する。 この知見をReasonMaxxerに変換する。これは最小のRLフリーな手法で、エントロピー付き決定点にのみコントラスト損失を適用する。
  論文  参考訳（メタデータ） (2026-05-07T13:25:05Z)
• AceReason-Nemotron: Advancing Math and Code Reasoning through Reinforcement Learning [50.02117478165099]
  大規模強化学習は, 強大・中小モデルの推論能力を大幅に向上させることができることを示す。 まずは算数のみのプロンプト、次にコードのみのプロンプトのトレーニングを行う。
  論文  参考訳（メタデータ） (2025-05-22T08:50:47Z)
• SimpleRL-Zoo: Investigating and Taming Zero Reinforcement Learning for Open Base Models in the Wild [46.25416990387885]
  ロングチェーン・オブ・シント(CoT)推論は、ルールベースの報酬を持つ単純な強化学習フレームワークを通じて自然に現れる。 LLama3-8B,Mistral-7B/24B,DeepSeek-Math-7B,Qwen2.5-math-7B,およびQwen2.5モデル0.5Bから32Bを含む10種類のベースモデルを対象としたゼロRLトレーニングについて検討した。
  論文  参考訳（メタデータ） (2025-03-24T17:06:10Z)
• Learning to Prune Deep Neural Networks via Reinforcement Learning [64.85939668308966]
  PuRLは、ニューラルネットワークのプルーニングのためのディープ強化学習ベースのアルゴリズムである。 現在の最先端の手法に匹敵する幅と精度を実現している。
  論文  参考訳（メタデータ） (2020-07-09T13:06:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。