論文の概要: What RL Brings to Reasoning: A Few Decisions the Base Model Would Not Make

• arxiv url: http://arxiv.org/abs/2610.24663v1
• Date: Sat, 17 Oct 2026 12:34:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-22 17:03:41.336623
• Title: What RL Brings to Reasoning: A Few Decisions the Base Model Would Not Make
• Title（参考訳）: RLが推論にもたらすもの
• Abstract要約: 検証可能な報酬(RLVR)による強化学習は、数学的推論を大幅に改善するが、ベースモデルに追加するものは未だ不明である。 本研究は,Qwen3-4B-Base上での世代間介入により,120 AIME問題に対してRLを学習した相手の獲得率を測定した。 ベースモデルを"Alright"で開始させると、RLゲインの35%が回復します。
• 参考スコア（独自算出の注目度）: 29.80754976785316
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning with verifiable rewards (RLVR) substantially improves mathematical reasoning, but what it adds to the base model remains unclear. We investigate this through a sequence of generation-time interventions on Qwen3-4B-Base, measuring how much of its RL-trained counterpart's gain each intervention recovers on 120 AIME problems. Power sampling with the same 8,192-token output limit brings no gain beyond greedy decoding. Yet borrowing the RL model's token only where the two models' greedy choices differ, roughly 4% of generated positions, recovers 90.5% of the pass@1 gain, with similar recovery across three model pairs on MATH-500. We find that even a single opening token has a substantial effect: forcing the base model to begin with "Alright" recovers 35% of the RL gain. The opening alone is insufficient, however. Later replacements after the same opening add another 5.2 percentage points to pass@1, and the fixed rules we test for inserting reflective words such as "Wait" do not reproduce this benefit. Sparse replacement also retains much of the base model's diversity while staying close to the RL model at pass@1. At k=256, it solves 67.5% of the problems, significantly more than the RL model (61.4%) and a mixture of whole responses matched in pass@1 (61.45%). The comparison is at equal attempt counts rather than equal compute, since rl-replace consults both models at every decoding step. These results show that the opening can recover a meaningful part of the RL gain, but a larger contribution comes from later choices, which can be borrowed while retaining much of the base model's diversity. Code is available at https://github.com/CyrusZhang04/WhatRLBrings.
• Abstract（参考訳）: 検証可能な報酬(RLVR)による強化学習は、数学的推論を大幅に改善するが、ベースモデルに追加するものは未だ不明である。 本研究は,Qwen3-4B-Base上での世代間介入により,120 AIME問題に対してRLを学習した相手の獲得率を測定した。 同じ8,192トンの出力制限を持つ電力サンプリングは、欲求的な復号化以上の利益をもたらすことはない。 しかし、RLモデルのトークンを2つのモデルの欲求選択が異なる場合にのみ借りると、生成される位置の約4%がパス@1ゲインの90.5%が回復し、MATH-500の3つのモデルペア間でも同様に回復する。 ベースモデルを"Alright"で開始させると、RLゲインの35%が回復します。 しかし、開館だけでは不十分である。 同じオープニング後の後続の置換では、pass@1にさらに5.2パーセンテージポイントが追加される。 スパース置換はまた、ベースモデルの多様性の大部分を保持しながら、pass@1でRLモデルに近づいたままである。 k=256では67.5%の問題を解き、RLモデル (61.4%) とpass@1 (61.45%) で一致した応答の混合をはるかに上回っている。 rl-replaceはデコードステップ毎に両方のモデルを参照するので、比較は等しく計算するよりも試行数に等しい。 これらの結果は、開口部がRLゲインの有意義な部分を取り戻すことができることを示しているが、その後の選択から大きな貢献が得られ、ベースモデルの多様性を保ちながら借用できる。 コードはhttps://github.com/CyrusZhang04/WhatRLBringsで入手できる。

関連論文リスト

• Co-RL: Unsupervised Reasoning Emerges from Diverse Cohort in Multi-agent RL [55.05743310621117]
  Co-RLは、パラメータを共有しない複数の分離されたモデルを、仲間から派生した報酬を使ってRLを通じて同時に最適化するフレームワークである。 我々は,コホート多様性の増大が,自己強化フィードバックループを駆動する相関誤差を減少させることを示す。
  論文  参考訳（メタデータ） (2026-08-18T01:16:02Z)
• Rethinking RL for LLM Reasoning: It's Sparse Policy Selection, Not Capability Learning [16.73341451930523]
  強化学習は新たな戦略を学ばず、ベースモデルがすでに持っている解に対して確率質量を再分配する。 この知見をReasonMaxxerに変換する。これは最小のRLフリーな手法で、エントロピー付き決定点にのみコントラスト損失を適用する。
  論文  参考訳（メタデータ） (2026-05-07T13:25:05Z)
• Nudging the Boundaries of LLM Reasoning [77.26972440427285]
  現在のオンライン強化学習アルゴリズムは、モデルに「解決不可能」な問題から学べない。 自己生成ヒントを用いてLLM推論の上界を推し進める「看護」手法であるNuRLを提案する。 NuRLは、テスト時間スケーリングを補完しながら、6つのベンチマークと3つのモデルで一貫した改善を実現している。
  論文  参考訳（メタデータ） (2025-09-30T02:01:40Z)
• Spurious Rewards: Rethinking Training Signals in RLVR [130.3484456088909]
  検証可能な報酬(RLVR)を用いた強化学習は,特定のモデルにおいて強い数学的推論を導出できることを示す。 例えば、RLVRはQwen2.5-Math-7BのMATH-500の性能を21.4%向上させた。 コード推論 -- 実際のコード実行なしにコードで考える -- は、RLVR以降、はるかに頻繁になる、独特なQwen2.5-Mathの振る舞いである。
  論文  参考訳（メタデータ） (2025-06-12T17:49:55Z)
• Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model? [66.61292196146016]
  RLVR(Reinforcement Learning with Verifiable Rewards)は近年,大規模言語モデル(LLM)の推論性能の向上に成功している。 本研究はRLVRの現状を批判的に考察する。 現在のトレーニング設定では、根本的な新しい推論パターンが生まれていないことが分かりました。
  論文  参考訳（メタデータ） (2025-04-18T17:59:56Z)
• SimpleRL-Zoo: Investigating and Taming Zero Reinforcement Learning for Open Base Models in the Wild [46.25416990387885]
  ロングチェーン・オブ・シント(CoT)推論は、ルールベースの報酬を持つ単純な強化学習フレームワークを通じて自然に現れる。 LLama3-8B,Mistral-7B/24B,DeepSeek-Math-7B,Qwen2.5-math-7B,およびQwen2.5モデル0.5Bから32Bを含む10種類のベースモデルを対象としたゼロRLトレーニングについて検討した。
  論文  参考訳（メタデータ） (2025-03-24T17:06:10Z)
• AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
  機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。 最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。 第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。 3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
  論文  参考訳（メタデータ） (2020-01-15T18:32:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。