論文の概要: Do LLMs Learn from Rewards in Context? : Rethinking the role of reward in In-Context RL

• arxiv url: http://arxiv.org/abs/2610.11152v3
• Date: Wed, 14 Oct 2026 08:09:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:14.994023
• Title: Do LLMs Learn from Rewards in Context? : Rethinking the role of reward in In-Context RL
• Title（参考訳）: LLMは文脈の逆境から学ぶか? : 文脈内RLにおける報酬の役割を再考する
• Abstract要約: LLMエージェントは、パラメータを更新するよりも、コンテキスト内での経験を蓄積することで、推論時に改善する。 このプロセスは、しばしばインコンテキスト強化学習(ICL)として記述される。 In-context Learning (ICL) が推論時間RLの役割を実際に果たせるかどうかを検討する。 我々は,入力分布や実演などのICL因子が,報酬形成や探索といったRL要素よりも重要であることを見出した。
• 参考スコア（独自算出の注目度）: 8.097661521171581
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM agents increasingly improve at inference time by accumulating experience in context rather than by updating parameters. This process is often described as in-context reinforcement learning (ICRL). Whether in-context learning (ICL) can actually play the role of RL, however, has not been tested. We study this question in its simplest form, direct ICRL, where the model conditions directly on raw trajectory-reward pairs, and ask whether the reward acts as a learning signal. Through controlled experiments on four benchmarks across six models, we find that the reward is read, but its effect is small: flipping, randomizing, or removing the reward leaves the improvement curve almost unchanged, and this holds even under meta-prompts that explicitly instruct the model to explore, exploit, or reason over rewards. Trajectories drive improvement, but not through their semantic content: shuffled or corrupted trajectories work as well as real ones. These patterns closely mirror those known in ICL, suggesting that direct ICRL is better understood as a special case of ICL than as inference-time RL. This reframing has implications for agent memory design: ICL factors such as input distribution and demonstrations may matter more than RL elements such as reward shaping and exploration.
• Abstract（参考訳）: LLMエージェントは、パラメータを更新するよりも、コンテキスト内での経験を蓄積することで、推論時に改善する。 この過程は、しばしば in-context reinforcement learning (ICRL) と呼ばれる。 しかし、文脈内学習(ICL)が実際にRLの役割を担うかどうかは、まだ検証されていない。 モデルが生の軌道-逆対に直接条件を定め、報酬が学習信号として機能するかどうかを問う。 6つのモデルにわたる4つのベンチマークの制御された実験により、報酬は読み上げられるが、その効果は小さい: 報酬の反転、ランダム化、あるいは削除は改善曲線をほとんど変更せずにすむ。 トラジェクトリは改善を促すが、そのセマンティックな内容によってではない。 これらのパターンはICLで知られているパターンを密接に反映しており、直接ICRLは推論時RLよりもICLの特別な場合として理解されていることが示唆されている。 入力分布やデモのようなICL因子は、報酬形成や探索のようなRL要素よりも重要である可能性がある。

関連論文リスト

• Demystifying Reinforcement Learning Post-Training of Language Models [32.79823433295599]
  強化学習(RL)ポストトレーニングは,大規模言語モデル(LLM)の能力向上のための強力なフレームワークとして登場した。 しかし、多くの研究者や実践者にとって、古典的RLの背後にある原則は「ブラックボックス」のままである。
  論文  参考訳（メタデータ） (2026-08-24T18:39:45Z)
• Beyond Reasoning: Reinforcement Learning Unlocks Parametric Knowledge in LLMs [59.62441340813425]
  我々は、強化学習がパラメトリック知識の直接的リコールを改善するかどうかを検討する。 3つのモデルファミリと複数の事実QAベンチマークで、RLの平均相対利得は27%である。 機械的には、RLは主に新しい事実を得るのではなく、既存の知識の確率質量を再分配する。
  論文  参考訳（メタデータ） (2026-05-08T02:40:12Z)
• SPS: Steering Probability Squeezing for Better Exploration in Reinforcement Learning for Large Language Models [51.99912169291891]
  強化学習(Reinforcement Learning, RL)は、推論指向モデルをトレーニングするための有望なパラダイムとして登場した。 逆強化学習(IRL)で従来のRLをインターリーブする学習パラダイムを提案する。 この結果から,RLとIRLの交互接続は,推論指向の大規模言語モデルの探索能力向上に有効な経路であることが示唆された。
  論文  参考訳（メタデータ） (2026-04-18T13:49:47Z)
• From Verifiable Dot to Reward Chain: Harnessing Verifiable Reference-based Rewards for Reinforcement Learning of Open-ended Generation [52.62655622099456]
  検証基準ベース報酬(RLVRR)を用いた強化学習を提案する。 最後の答えをチェックする代わりに、RLVRRは高品質な参照(すなわち報酬連鎖)から順序付けられた言語信号を抽出する。 このようにして、RLVRRは報酬を2つの次元に分解する。
  論文  参考訳（メタデータ） (2026-01-26T14:39:58Z)
• Just-In-Time Reinforcement Learning: Continual Learning in LLM Agents Without Gradient Updates [53.3717573880076]
  JitRL(Just-In-Time Reinforcement Learning、ジャスト・イン・タイム強化学習)は、テスト時間ポリシーの最適化を可能にするトレーニング不要のフレームワークである。 JitRLは、経験の動的で非パラメトリックな記憶を維持し、関連する軌跡を取得して、オンザフライでのアクションの利点を推定する。 WebArenaとJerrichoの実験では、JitRLがトレーニング不要メソッドの間に新しい最先端技術を確立していることが示されている。
  論文  参考訳（メタデータ） (2026-01-26T14:16:51Z)
• PACR: Progressively Ascending Confidence Reward for LLM Reasoning [55.06373646059141]
  我々は、PACR(Progressive Ascending Confidence Reward)を提案する。 PACRは、正解に対するモデルの進化的信念から直接計算された、密集したモデル固有の報酬である。 以上の結果から,RLVRトレーニングはより効果的で信頼性が高いことが示唆された。
  論文  参考訳（メタデータ） (2025-10-25T11:25:35Z)
• ConfClip: Confidence-Weighted and Clipped Reward for Reinforcement Learning in LLMs [32.13266235550995]
  強化学習(RL)は、大規模言語モデル(LLM)の標準化の標準パラダイムとなっている。 人間の学習から得られた観察から着想を得て、検証可能な結果とモデル自身の信頼度推定を統合するRL手法を導入する。
  論文  参考訳（メタデータ） (2025-09-22T13:00:35Z)
• Beyond Markovian: Reflective Exploration via Bayes-Adaptive RL for LLM Reasoning [55.36978389831446]
  我々はベイズ適応RLフレームワークにおける反射探査を再放送する。 我々のアルゴリズムであるBARLは、観測結果に基づいて戦略を縫い替えるようにLLMに指示する。
  論文  参考訳（メタデータ） (2025-05-26T22:51:00Z)
• A Reminder of its Brittleness: Language Reward Shaping May Hinder Learning for Instruction Following Agents [38.928166383780535]
  我々は,LSSの明らかな成功は不安定であり,事前の陽性所見はRLの基線が弱いことに起因すると論じる。 我々は、RS報酬を用いて訓練されたエージェントが純粋なRLエージェントよりも緩やかに収まるという理論的および実証的な証拠を提供した。
  論文  参考訳（メタデータ） (2023-05-26T04:28:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。