論文の概要: Probe with Participation Trophies: Random-Reward RL as a Probe of LLM Capability

• arxiv url: http://arxiv.org/abs/2610.01066v1
• Date: Thu, 01 Oct 2026 05:05:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.909995
• Title: Probe with Participation Trophies: Random-Reward RL as a Probe of LLM Capability
• Title（参考訳）: 参加型トロフィーのプローブ: LLM 能のプローブとしてのランダムリワード RL
• Abstract要約: ランダムな報酬であっても、大きな言語モデルの性能を向上させることができることを示す。 我々の結果は異なる見方を動機付けており、スプリアス・リワード RL はモデルの到達可能性を調べることができる。
• 参考スコア（独自算出の注目度）: 35.21139712236725
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We connect the spurious-reward paradox to a model's reachability and propose random-reward reinforcement learning (RL) as a useful tool for the probing enterprise, addressing a decade-long debate over what probing performance actually reveals about a model. There are two prevailing explanations for the surprising finding that even random rewards can improve the performance of large language models (LLMs): one attributes the gains to particular mechanisms within RL training; the other to data contamination. Our results motivate a different view: spurious-reward RL can probe a model's reachability, or what further training can attain from its current state under specified constraints, beyond what is reflected in its current performance. Two OLMo checkpoints with the same accuracy on synthetic arithmetic (3.5%), for example, reach 8.5% and 55% in their best runs under the same correctness-rewarded RL. Examining OLMo checkpoints across pre-training and mid-training reveals three distinct regimes of training response: early on, RL produces little improvement even when correct answers are rewarded; later in pre-training, rewarding correct answers becomes effective while random rewards remain weak; and, upon entering mid-training, even random rewards can produce large gains. A similar ordering appears in a number-masked supervised fine-tuning (SFT) analysis of these checkpoints, suggesting that the pattern is not specific to a particular RL mechanism. Moreover, RL with random rewards offers a distinctive perspective on what training can make an LLM do, since its reward signal supplies no information about which answers are correct. By asking what training can attain without correctness feedback, it addresses the label-leakage side of a central problem in decodability-based probing: whether a successful probe reveals the model's capabilities or learns the task itself.
• Abstract（参考訳）: 本稿では, モデルが到達可能な場合の突発的逆方向のパラドックスを結合し, モデルの性能について10年にわたる議論を巻き起こし, 探索企業にとって有用なツールとしてランダム逆方向の強化学習(RL)を提案する。 ランダムな報酬でさえ、大きな言語モデル(LLM)の性能を改善することができるという驚くべき発見には、2つの一般的な説明がある。 我々の結果は異なる見方を動機付けている。スプリアス・リワードRLはモデルの到達可能性を調べたり、現在の性能に反映されるものを超えて、特定の制約の下で現在の状態から更なるトレーニングを達成できる。 例えば、合成算術で同じ精度の2つのOLMoチェックポイント(3.5%)は、同じ精度のRLの下でのベストランの8.5%と55%に達する。 事前トレーニングと中級トレーニングでOLMoチェックポイントを調べると、トレーニング応答の3つの異なる状態が明らかになる: 早期に、RLは正しい回答が報われてもほとんど改善しない; 後段のトレーニングでは、ランダムな報酬が弱い間に正しい回答が有効になる; そして、中級トレーニングに入ると、ランダムな報酬も大きな利益をもたらす。 同様の順序付けは、これらのチェックポイントの数行列教師付き微調整(SFT)分析に現れ、このパターンが特定のRL機構に固有のものではないことを示唆している。 さらに、ランダムな報酬を持つRLは、その報酬信号がどの回答が正しいかに関する情報を供給しないため、LLMが行うことができるトレーニングについて、独特な視点を提供する。 正しさのフィードバックなしに何がトレーニングを達成できるかを問うことで、Deodability-based Probingにおける中心的な問題のラベル推論側、すなわち、成功したプローブがモデルの能力を明らかにするか、あるいはタスク自体を学習するかどうかを問う。

関連論文リスト

• Demystifying Reinforcement Learning Post-Training of Language Models [32.79823433295599]
  強化学習(RL)ポストトレーニングは,大規模言語モデル(LLM)の能力向上のための強力なフレームワークとして登場した。 しかし、多くの研究者や実践者にとって、古典的RLの背後にある原則は「ブラックボックス」のままである。
  論文  参考訳（メタデータ） (2026-08-24T18:39:45Z)
• Co-RL: Unsupervised Reasoning Emerges from Diverse Cohort in Multi-agent RL [55.05743310621117]
  Co-RLは、パラメータを共有しない複数の分離されたモデルを、仲間から派生した報酬を使ってRLを通じて同時に最適化するフレームワークである。 我々は,コホート多様性の増大が,自己強化フィードバックループを駆動する相関誤差を減少させることを示す。
  論文  参考訳（メタデータ） (2026-08-18T01:16:02Z)
• Beyond Reasoning: Reinforcement Learning Unlocks Parametric Knowledge in LLMs [59.62441340813425]
  我々は、強化学習がパラメトリック知識の直接的リコールを改善するかどうかを検討する。 3つのモデルファミリと複数の事実QAベンチマークで、RLの平均相対利得は27%である。 機械的には、RLは主に新しい事実を得るのではなく、既存の知識の確率質量を再分配する。
  論文  参考訳（メタデータ） (2026-05-08T02:40:12Z)
• Train for Truth, Keep the Skills: Binary Retrieval-Augmented Reward Mitigates Hallucinations [103.16279860448874]
  新たな二分探索強化報酬(RAR)を用いたオンライン強化学習手法を提案する。 オープンエンド世代では、バイナリRARは幻覚率を39.3%減少させる。 短い形式の質問応答では、モデルは、パラメトリック知識の不足に直面した時に、戦略的に"I don't know"を出力して、控えめに学習する。
  論文  参考訳（メタデータ） (2025-10-20T16:45:43Z)
• BroRL: Scaling Reinforcement Learning via Broadened Exploration [88.69554867685243]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルにおいて複雑な推論能力を解き放つ鍵となる要素として登場した。 最近のProRLは、トレーニングステップの数を増やすことで、RLのスケーリングを約束している。 RL, BroR-Lineasing the followingary paradigm for scaling RL, BroR-Lincreasing the rollouts per example to hundreds。
  論文  参考訳（メタデータ） (2025-10-01T17:59:02Z)
• ConfClip: Confidence-Weighted and Clipped Reward for Reinforcement Learning in LLMs [32.13266235550995]
  強化学習(RL)は、大規模言語モデル(LLM)の標準化の標準パラダイムとなっている。 人間の学習から得られた観察から着想を得て、検証可能な結果とモデル自身の信頼度推定を統合するRL手法を導入する。
  論文  参考訳（メタデータ） (2025-09-22T13:00:35Z)
• Beyond Accuracy: Dissecting Mathematical Reasoning for LLMs Under Reinforcement Learning [93.00629872970364]
  強化学習(Reinforcement Learning, RL)は, 複雑な推論タスクにおいて, 言語モデルの性能向上のための主要なパラダイムとなっている。 SPARKLE(SPARKLE)は、3つの重要な次元にわたるRLの効果を詳細に解析するフレームワークである。 我々は、RL信号と混合品質の推論トレースを産出しない難題が、依然としてトレーニングに有効であるかどうかを調査する。
  論文  参考訳（メタデータ） (2025-06-05T07:53:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。