論文の概要: Beyond Reasoning: Reinforcement Learning Unlocks Parametric Knowledge in LLMs

• arxiv url: http://arxiv.org/abs/2605.07153v1
• Date: Fri, 08 May 2026 02:40:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 19:43:38.754627
• Title: Beyond Reasoning: Reinforcement Learning Unlocks Parametric Knowledge in LLMs
• Title（参考訳）: 推論を超えて:強化学習はLLMのパラメトリック知識を解き放つ
• Authors: Wanli Yang, Hongyu Zang, Junwei Zhang, Wenjie Shi, Du Su, Jingang Wang, Xueqi Cheng, Fei Sun,
• Abstract要約: 我々は、強化学習がパラメトリック知識の直接的リコールを改善するかどうかを検討する。 3つのモデルファミリと複数の事実QAベンチマークで、RLの平均相対利得は27%である。 機械的には、RLは主に新しい事実を得るのではなく、既存の知識の確率質量を再分配する。
• 参考スコア（独自算出の注目度）: 59.62441340813425
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning (RL) has achieved remarkable success in LLM reasoning, but whether it can also improve direct recall of parametric knowledge remains an open question. We study this question in a controlled zero-shot, one-hop, closed-book QA setting with no chain-of-thought, training only on binary correctness rewards and applying fact-level train-test deduplication to ensure gains reflect improved recall rather than reasoning or memorization. Across three model families and multiple factual QA benchmarks, RL yields ~27% average relative gains, surpassing both training- and inference-time baselines alike. Mechanistically, RL primarily redistributes probability mass over existing knowledge rather than acquiring new facts, moving correct answers from the low-probability tail into reliable greedy generations. Our data-attribution study reveals that the hardest examples are the most informative: those whose answers never appear in 128 pre-RL samples (only ~18% of training data) drive ~83% of the gain, since rare correct rollouts still emerge during training and get reinforced. Together, these findings broaden the role of RL beyond reasoning, repositioning it as a tool for unlocking rather than acquiring latent parametric knowledge.
• Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は, LLM推論において顕著な成功を収めた。 本研究では,ゼロショット,ワンホップ,クローズドブックのQA設定をチェーンオブソートなしで行うこと,二進的正当性報酬のみをトレーニングすること,ファクトレベル・トレイン・デデューズを適用して,リコールの改善を推論や記憶よりも反映することを保証する。 3つのモデルファミリと複数の実数QAベンチマークで、RLは平均相対利得を27%上回り、トレーニング時間と推論時間の両方のベースラインを上回ります。 機械的には、RLは、新しい事実を得るよりも既存の知識の確率質量を再分配し、低い確率の尾から信頼できる欲望世代へと正しい答えを移動させる。 128件の事前RLサンプル(トレーニングデータのわずか18%)に回答しない人は、トレーニング中に稀な正確なロールアウトが出現し、強化されるため、利益の約83%を得られる。 これらの知見は、推論を超えてRLの役割を広げ、潜伏したパラメトリック知識を取得するのではなく、アンロックするためのツールとして再配置した。

関連論文リスト

• Beyond Correctness: Learning Robust Reasoning via Transfer [51.403609251508904]
  我々は単純な哲学的見解を採用するが、堅牢な推論はそれを作った心を超えて有用であるべきである。 本稿では,トランスファーブル・リワードを用いた強化学習を紹介し,トランスファーブル・リワードによるロバストネスの運用について述べる。 提案手法は,最終回答精度を向上しながらサンプリング一貫性を向上し,ほぼ少ないトレーニングステップで同等のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2026-02-09T10:41:44Z)
• Train for Truth, Keep the Skills: Binary Retrieval-Augmented Reward Mitigates Hallucinations [103.16279860448874]
  新たな二分探索強化報酬(RAR)を用いたオンライン強化学習手法を提案する。 オープンエンド世代では、バイナリRARは幻覚率を39.3%減少させる。 短い形式の質問応答では、モデルは、パラメトリック知識の不足に直面した時に、戦略的に"I don't know"を出力して、控えめに学習する。
  論文  参考訳（メタデータ） (2025-10-20T16:45:43Z)
• ConfClip: Confidence-Weighted and Clipped Reward for Reinforcement Learning in LLMs [32.13266235550995]
  強化学習(RL)は、大規模言語モデル(LLM)の標準化の標準パラダイムとなっている。 人間の学習から得られた観察から着想を得て、検証可能な結果とモデル自身の信頼度推定を統合するRL手法を導入する。
  論文  参考訳（メタデータ） (2025-09-22T13:00:35Z)
• AceReason-Nemotron: Advancing Math and Code Reasoning through Reinforcement Learning [50.02117478165099]
  大規模強化学習は, 強大・中小モデルの推論能力を大幅に向上させることができることを示す。 まずは算数のみのプロンプト、次にコードのみのプロンプトのトレーニングを行う。
  論文  参考訳（メタデータ） (2025-05-22T08:50:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。