論文の概要: LLM Value Functions for Credit Assignment in Agentic RL

• arxiv url: http://arxiv.org/abs/2610.15840v1
• Date: Sun, 11 Oct 2026 18:46:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.262146
• Title: LLM Value Functions for Credit Assignment in Agentic RL
• Title（参考訳）: エージェントRLにおけるクレジットアサインメントのためのLLM値関数
• Abstract要約: LLM値関数RL(LVRL)を導入し、個別の批評家を微調整することなく、ポリシーを意識した状態値を推定する。 LVRLは、グループコンテキストの値モデルを定義し、初期状態と終状態の既知の値を用いて予測を校正する。 我々は,この考え方を,推定値の低下に伴う行動に教師の監督を集中させるオンライン蒸留(OPD)を通じて,専門家の政策から学ぶことに拡張する。
• 参考スコア（独自算出の注目度）: 50.30222345182353
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Reinforcement learning (RL) for large language model (LLM) agents remains challenging in long-horizon tasks with sparse outcome rewards, where assigning credit to individual actions is difficult. Methods such as GRPO assign the same trajectory-level advantage to all actions, while critic-based methods require learning an additional value function that can be costly and unstable. We introduce LLM Value Function RL (LVRL), which uses the pretrained knowledge and in-context learning ability of an LLM to estimate policy-aware state values without finetuning a separate critic. LVRL conditions the value model on group context and calibrates its predictions using known values at the initial and terminal states, enabling step-level credit assignment from estimated value differences. We further extend this idea to learning from an expert policy through on-policy distillation (OPD), introducing LLM Value Function OPD (LVOPD), which focuses teacher supervision on actions associated with decreases in estimated value. We evaluate our approach across diverse agentic benchmarks: AppWorld, BabyAI, and SWE-bench Verified. Across policy scales (4B to 32B), LVRL consistently and substantially outperforms both GRPO and PPO. On AppWorld and SWE-bench Verified, LVRL yields absolute improvements of up to 13.6 and 8.6 percentage points over GRPO. Notably, on tasks requiring extended exploration like BabyAI, LVRL bridges the gap from total failure to 75.0% success. Furthermore, LVOPD yields consistent improvements over standard distillation baselines on AppWorld. Finally, Monte-Carlo analysis confirms that our frozen critic accurately identifies semantic pitfalls and recoveries, proving that LVRL extracts robust, policy-aware step-level credit from sparse terminal outcomes.
• Abstract（参考訳）: 大規模言語モデル(LLM)エージェントのための強化学習(RL)は、個々の行動に信用を割り当てることが困難である、疎度な結果報酬を伴う長期作業において依然として困難である。 GRPOのような手法はすべてのアクションに対して同じ軌道レベルの利点を割り当てるが、批判に基づく手法ではコストがかかり不安定な付加価値関数を学習する必要がある。 LLMの事前訓練された知識と文脈内学習能力を用いて、個別の批評家を微調整することなく、ポリシーを意識した状態の値を推定するLLM Value Function RL(LVRL)を導入する。 LVRLは、グループコンテキストの値モデルを定義し、初期状態と終端状態の既知の値を用いて予測を校正し、推定値差から段階レベルのクレジット割り当てを可能にする。 我々はさらに、この考え方を、LLM Value Function OPD (LVOPD)を導入し、オン・ポリケーション蒸留(OPD)を通じて専門家の政策から学ぶように拡張する。 当社のアプローチは,AppWorld, BabyAI, SWE-bench Verifiedなど,さまざまなエージェントベンチマークで評価している。 政策スケールは4Bから32Bで、LVRLはGRPOとPPOをほぼ上回る。 AppWorldとSWE-bench Verifiedでは、LVRLはGRPOよりも13.6ポイントと8.6ポイントまで絶対的に改善されている。 特に、BabyAIのような長期探査を必要とするタスクにおいて、LVRLは総失敗から75.0%の成功までのギャップを埋める。 さらに、LOVPDはAppWorldの標準的な蒸留ベースラインよりも一貫した改善をもたらす。 最後に、モンテカルロ分析により、凍結した批評家が意味的な落とし穴と回復を正確に識別し、LVRLがスパース端末結果からロバストでポリシーを意識したステップレベルの信用を抽出していることが判明した。

関連論文リスト

• LLM-as-a-Coach: Experiential Learning for Non-Verifiable Tasks [89.13372484640392]
  LLM-as-a-JudgeからLLM-as-a-Coachへのフィードバックモデルを再利用した経験的学習(EL)を提案する。 ELは、保持された未確認のオープンエンドタスクにおいて、ルブリックベースのRLを一貫して上回る。 これらの知見は、検証不可能なタスクのポストトレーニングにおいて、より豊かでより一般化可能な学習信号として経験的知識を確立した。
  論文  参考訳（メタデータ） (2026-07-20T16:08:49Z)
• Value-Gradient Hypothesis of RL for LLMs [1.983259889617852]
  強化学習は事前訓練された言語モデルを大幅に改善する。 PPOやGRPOのような批判のない手法がなぜ機能するのか、いつ最大の利益をもたらすべきかは、いまだ検討されていない。
  論文  参考訳（メタデータ） (2026-05-20T19:09:05Z)
• Utilizing and Calibrating Hindsight Process Rewards via Reinforcement with Mutual Information Self-Evaluation [50.696688705287755]
  我々は、強化学習におけるスパース報酬課題を克服するために、相互情報自己評価を提案する。 MISEにより、エージェントは、疎外的信号を補う高密度な内部報酬から自律的に学習することができる。 我々は、後見自己評価報酬を利用することは、政策と代行報酬政策の間のKL分散項と相互情報を組み合わせた目的を最小化することと等価であることを示す。
  論文  参考訳（メタデータ） (2026-04-13T15:18:51Z)
• VinePPO: Refining Credit Assignment in RL Training of LLMs [66.80143024475635]
  我々は,言語環境の柔軟性を利用してモンテカルロをベースとした推定値を計算する,簡単なアプローチであるVinePPOを提案する。 本手法は,MATHおよびGSM8Kデータセット間のPPOおよび他のベースラインをウォールクロック時間以下で連続的に上回る。
  論文  参考訳（メタデータ） (2024-10-02T15:49:30Z)
• How Can LLM Guide RL? A Value-Based Approach [68.55316627400683]
  強化学習(Reinforcement Learning, RL)は、将来の行動方針をフィードバックで改善することにより、シーケンシャルな意思決定問題の事実上の標準的実践となった。 大規模言語モデル(LLM)の最近の発展は、言語理解と生成において印象的な能力を示したが、探索と自己改善能力に欠けていた。 我々はLINVITというアルゴリズムを開発し、LLMガイダンスを値ベースRLの正規化因子として組み込んで学習に必要なデータ量を大幅に削減する。
  論文  参考訳（メタデータ） (2024-02-25T20:07:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。