論文の概要: Same Answer, New Box: How Much of RLVR's Out-of-Domain Gain Is Answer Format?

• arxiv url: http://arxiv.org/abs/2610.20639v1
• Date: Fri, 02 Oct 2026 12:33:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-18 21:02:54.551675
• Title: Same Answer, New Box: How Much of RLVR's Out-of-Domain Gain Is Answer Format?
• Title（参考訳）: RLVRのアウト・オブ・ドメインのゲインはどれぐらいか?
• Abstract要約: 我々は、公開コードからコピーされた回答抽出器によって報告される利益のどれだけが、この方法で生じるかを測定する。 7B SimpleRLと7B SimpleRLの4組では, 抽出器が報告した領域外多重選択の82%が消失した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning with verifiable rewards (RLVR) is credited with gains beyond the domain its rewards check, such as higher MMLU accuracy after training on mathematics. Such accuracies are usually read out of the model's text by an answer extractor. A model that learns to write its answer where the extractor looks can therefore score higher without answering better. We measure how much of the gain reported by extractors copied from public code arises this way. We generate outputs from a base model and its RL model and score them twice: with those extractors, and with one extractor of our own that reads a stated answer whether it is in the answer box \boxed{} or in the text. On four released 7B SimpleRL base-RL pairs, 82% of the out-of-domain multiple-choice gain that these extractors report disappears under ours: it is a gain in answer format, not in answers. The base models already state most of their answers in text, and RL moves them into the box, where these extractors look first. Independent LLM readers, in place of our extractor, put the figure at 77%. With a prompt that itself asks for the box, our extractor puts it at 79%. On a 32B pair trained with another recipe, almost none of the reported gain is format gain: its base model boxes its answers when asked, and its RL model rarely does when not. A reported gain is partly a property of the extractor that read it, and re-scoring stored outputs with a second extractor shows how much, without re-running RL.
• Abstract（参考訳）: 検証可能な報奨付き強化学習(RLVR)は、数学のトレーニング後のMMLU精度の向上など、その報奨チェックの領域を越えた利得が認められている。 このような精度は、通常、解答抽出器によってモデルのテキストから読み出される。 解答を学習するモデルは、解答器の外観が良い解答をせずに高い点を採点できる。 公開コードからコピーした抽出器が報告した利得の程度をこの方法で測定する。 我々はベースモデルとそのRLモデルから出力を生成し、それらを2回スコアします。 4つのリリースされた7B SimpleRLベース-RLペアでは、ドメイン外多重選択の82%が、これらの抽出器レポートが私たちの下で消えています。 ベースモデルは既に回答のほとんどをテキストで記述しており、RLはそれらをボックスに移動させ、抽出器が最初に見えるようにしている。 LLMの独立した読者は、抽出機の代わりに、この数字を77%とした。 ボックスをリクエストするプロンプトで、抽出器は79%にします。 他のレシピでトレーニングされた32Bペアでは、報告された利益のほとんどがフォーマットゲインである。 報告された利得は、部分的に読み取った抽出器の特性であり、格納された出力を第2の抽出器で再描画することで、RLを再実行することなく、どれだけの量を示す。

関連論文リスト

• Beyond Reasoning: Reinforcement Learning Unlocks Parametric Knowledge in LLMs [59.62441340813425]
  我々は、強化学習がパラメトリック知識の直接的リコールを改善するかどうかを検討する。 3つのモデルファミリと複数の事実QAベンチマークで、RLの平均相対利得は27%である。 機械的には、RLは主に新しい事実を得るのではなく、既存の知識の確率質量を再分配する。
  論文  参考訳（メタデータ） (2026-05-08T02:40:12Z)
• Expanding the Capabilities of Reinforcement Learning via Text Feedback [49.561885700139676]
  テキストフィードバックをトレーニング中に利用できるが、推論では利用できないマルチターンRLセットアップであるテキストフィードバック(RLTF)を形式化する。 そこで本研究では, 自己蒸留法(RLTF-SD)と, フィードバック条件付き第2ターン世代に適合するように単一ターンポリシーを訓練するフィードバックモデリング法(RLTF-FM)の2つの手法を提案する。 以上の結果から,両手法はベンチマークにおいて強いベースラインを一貫して上回っていることが明らかとなった。
  論文  参考訳（メタデータ） (2026-02-02T18:56:56Z)
• RLBFF: Binary Flexible Feedback to bridge between Human Feedback & Verifiable Rewards [29.53129965767002]
  バイナリフレキシブルフィードバック(RLBFF)を用いた強化学習を提案する。 RLBFFは、人間主導の好みの汎用性とルールベースの検証の精度を組み合わせる。 この方法で訓練されたReward Modelsは、データにマッチするとBradley-Terryモデルより優れていることを示す。
  論文  参考訳（メタデータ） (2025-09-25T16:19:06Z)
• RLPR: Extrapolating RLVR to General Domains without Verifiers [103.14103272635893]
  本稿では,RLVRを汎用ドメインに外挿するシンプルな検証不要なフレームワークであるRLPRを提案する。 このノイズの多い確率報酬の高分散に対処することが、それを機能させるためには不可欠である。 RLPRはGemma、Llama、Qwenベースのモデルの両方の領域における推論機能の改善を一貫して行っている。
  論文  参考訳（メタデータ） (2025-06-23T02:56:36Z)
• Resa: Transparent Reasoning Models via SAEs [14.617192915344349]
  SAE-Tuningは、新規で効率的なスパースオートエンコーダチューニング手順によって訓練された1.5B推論モデルのファミリーである。 SAE-Tuningは、RL訓練後の特定のベースモデルに適用される前に、RL訓練後の推論性能の97%以上を維持している。 AIME24では43.33%のPass@1、AMC23では90%のPass@1などの推論性能を約1ドルで実現している。
  論文  参考訳（メタデータ） (2025-06-11T17:44:01Z)
• Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model? [66.61292196146016]
  RLVR(Reinforcement Learning with Verifiable Rewards)は近年,大規模言語モデル(LLM)の推論性能の向上に成功している。 本研究はRLVRの現状を批判的に考察する。 現在のトレーニング設定では、根本的な新しい推論パターンが生まれていないことが分かりました。
  論文  参考訳（メタデータ） (2025-04-18T17:59:56Z)
• Crossing the Reward Bridge: Expanding RL with Verifiable Rewards Across Diverse Domains [92.36624674516553]
  検証可能な報酬付き強化学習(RLVR)は、大規模言語モデル(LLM)の数学的推論と符号化性能の向上に成功している。 本稿では,医学,化学,心理学,経済学,教育など,さまざまな現実世界領域におけるRLVRの有効性と拡張性について検討する。 我々は,2値検証による制限を克服するために,ソフトなモデルに基づく報酬信号を生成する生成的スコアリング手法を利用する。
  論文  参考訳（メタデータ） (2025-03-31T08:22:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。