論文の概要: RLVR Sharpens the Pencil, Not the Mind

• arxiv url: http://arxiv.org/abs/2611.02574v1
• Date: Mon, 02 Nov 2026 05:58:57 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 20:13:37.654523
• Title: RLVR Sharpens the Pencil, Not the Mind
• Title（参考訳）: RLVRは心ではなくペンシルを削る
• Abstract要約: ベースモデルはすでにこれらの問題を解決する方法を知っています。 OLMo-2-1BをGSM8K上の13のトレーニングチェックポイントすべてにわたって追跡した。 初級の精度は58.0%から61.3%に上昇するが、256回、解のカバレッジは94.5%から96.9%に上昇する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Models like DeepSeek-R1 made Reinforcement Learning with Verifiable Rewards (RLVR) famous: reward a model for correct answers and it gets dramatically better at reasoning without being taught how. The leading explanation is sharpening---that the base model already knows how to solve these problems and RLVR just makes it more likely to reach for its best solution paths. This has only ever been checked by comparing before and after training, never by watching what changes inside across it. We tracked OLMo-2-1B across all 13 training checkpoints on GSM8K. First-try accuracy climbs from 58.0% to 61.3%, but ask the model 256 times and solution coverage actually rises from 94.5% to 96.9%, proving the knowledge was already there. We then planted reasoning mistakes into problems and trained simple probes to detect them. Those probes held between AUROC 0.798 and 0.840 across all 13 checkpoints and 3 error types, a spread smaller than the confidence interval; the model never builds a sharper internal picture of what a reasoning mistake looks like. The one place we find real internal change is at the final answer token, where a probe distinguishing early from late checkpoints hits an AUROC of 0.93, while the same probe on the actual reasoning steps lands near chance. RLVR makes the model lead with its best thinking. It does not change what that thinking is.
• Abstract（参考訳）: DeepSeek-R1のようなモデルは、Reinforcement Learning with Verifiable Rewards (RLVR)を有名にした。 ベースモデルはすでにこれらの問題を解決する方法を知っていて、RLVRは最良のソリューションパスに到達しやすくしています。 これは、トレーニング前後の比較によってのみチェックされ、内部の変更を見ることはない。 OLMo-2-1BをGSM8K上の13のトレーニングチェックポイントすべてにわたって追跡した。 初歩精度は58.0%から61.3%に上昇するが、256回モデルに質問すると、解のカバレッジは94.5%から96.9%に上昇し、知識はすでに存在していたことを証明している。 その後、推論ミスを問題に植え付け、それらを検出するための簡単なプローブを訓練しました。 AUROC 0.798 と 0.840 の間に、13のチェックポイントと3つのエラータイプで保持されたプローブは、信頼区間よりも小さい。 内部の本当の変化は、最後の答えトークンで、遅いチェックポイントと早期に区別するプローブがAUROCの0.93にぶつかっているのに対して、実際の推論ステップのプローブは、ほぼ偶然に着地する。 RLVRは最高の思考でモデルをリードする。 それはその考えを変えない。

関連論文リスト

• Space Over Statistic, Retraining Over Ranking: Auditing Training Labels Under Label-Only Backdoors [0.971956328443523]
  FLIPはラベルのみを変更する。 CIFAR-10では3%のフリップでResNet-32が99.7%のソースクラスのイメージを攻撃者のクラスに送信する。 テスト、ラベル、メトリックを固定し、特徴空間だけを変更し、その保持について被害者を再訓練することで、それぞれの防御を判断します。
  論文  参考訳（メタデータ） (2026-10-09T06:05:01Z)
• System Switch: When Should a Fast Decision Model Stop and Think? [0.0]
  ゲートが開いたときのみ、意思決定と手動制御を推論的視覚言語モデルに組み込む高速学習アクターについて検討する。 ホールドアウトされた質問では0.15Bから9Bまでのゼロショット決定モデルは、偶然よりも1.6-1.8倍の頻度でアイテムを収集する。
  論文  参考訳（メタデータ） (2026-10-07T08:44:47Z)
• Closing the Loop on Contrail Avoidance with Satellite Verification [0.0]
  コントラル(Contrail)は、航空機が残す薄い氷の雲。 航空機の温暖化を招き、生産する数少ない飛行を再開することで、その大部分を回避できる。 コントラルを検出する小さな拡散モデル(8.4Mパラメータ、1つのGPUでトレーニング)を構築します。
  論文  参考訳（メタデータ） (2026-10-07T03:18:29Z)
• Knowing When Thinking Is Not Enough: Teaching Small Reasoning Models to Reason Beyond Their Parametric Knowledge [63.752287291668786]
  テスト時間計算のスケールは、言語モデル推論を改善する強力な方法である。 自己閉じ込めは、既に現在の状態から到達可能な解に確率質量を大半を凝縮することを示す。 選択的なクエリフレームワークであるFlyByを導入し、まず4Bと8Bの変種をトレーニングする。
  論文  参考訳（メタデータ） (2026-09-28T05:07:24Z)
• Reinforcement Learning with Verifiable Rewards for Small Search Agents [0.9802224811027896]
  因果探索のレシピは、RLVRをオープンドメインの質問応答に適用する。 グループ相対政策最適化を用いてQwen3.5-0.8Bを訓練する。 我々は,7ベンチマーク問合せスイートのすべてのチェックポイントを評価した。
  論文  参考訳（メタデータ） (2026-09-23T20:21:55Z)
• Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
  現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。 本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。 8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
  論文  参考訳（メタデータ） (2026-06-02T06:51:15Z)
• Step-wise Rubric Rewards for LLM Reasoning [72.17879367869503]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルの推論を改善するために広く使われている。 正しい回答の18.2%は間違っているが、肯定的な報酬がある。 6つの数学的推論ベンチマークで、SRaRはRaRの平均精度を3.57ポイント改善した。
  論文  参考訳（メタデータ） (2026-05-17T07:08:14Z)
• Spurious Rewards: Rethinking Training Signals in RLVR [130.3484456088909]
  検証可能な報酬(RLVR)を用いた強化学習は,特定のモデルにおいて強い数学的推論を導出できることを示す。 例えば、RLVRはQwen2.5-Math-7BのMATH-500の性能を21.4%向上させた。 コード推論 -- 実際のコード実行なしにコードで考える -- は、RLVR以降、はるかに頻繁になる、独特なQwen2.5-Mathの振る舞いである。
  論文  参考訳（メタデータ） (2025-06-12T17:49:55Z)
• Learning from Peers in Reasoning Models [30.683206230784]
  大きな推論モデル(LRM)は、推論パスでミスをしても自己修正する能力を持つ。 我々の研究は、推論プロセスが短いが貧弱な開始から始まると、モデルが回復することが困難になることを示している。 ピアインタラクションが、すでに正確な個人に悪影響を及ぼすことなく自己補正を促進するという心理学的な知見に触発されて、この現象に対処するために、 **Learning from Peers**(LeaP)を提案する。
  論文  参考訳（メタデータ） (2025-05-12T17:39:56Z)
• Retro-Search: Exploring Untaken Paths for Deeper and Efficient Reasoning [84.2749507577386]
  MCTSにインスパイアされた検索アルゴリズムであるRetro-Searchを導入し,大規模モデルから高品質な推論経路を抽出する。 Retro-Searchは、より良い、しかし短いトレースを見つけるための推論パスをふりかえりに修正する。 当社のアプローチでは,モデルが独自のRetro-Search-edトレースに基づいて微調整される自己改善と,弱いから強い改善の2つのユースケースを実現しています。
  論文  参考訳（メタデータ） (2025-04-06T06:23:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。