論文の概要: What Does Multi-Turn Reinforcement Learning Really Improve in LLM Agents?

• arxiv url: http://arxiv.org/abs/2611.06483v1
• Date: Wed, 04 Nov 2026 13:24:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 03:25:58.118064
• Title: What Does Multi-Turn Reinforcement Learning Really Improve in LLM Agents?
• Title（参考訳）: LLMエージェントにおけるマルチスレッド強化学習の実際的改善
• Abstract要約: 軌道レベルのRLの利点は十分なターン予算に依存しており、予算が厳しくなると著しく低下することを示す。 本稿では,BudgetMix RLを,トレーニング中のインタラクション予算を変える代替手段として紹介する。
• 参考スコア（独自算出の注目度）: 27.048014075733644
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While multi-turn agentic reinforcement learning (RL) excels on long-horizon tasks, its performance gains remain highly sensitive to interaction constraints. Evaluating across sampling breadth $K$ and interaction depth $T$ via $Pass@(K,T)$, we show that trajectory-level RL advantages depend on sufficient turn budgets, diminishing significantly when budgets tighten. Besides, agentic RL does not uniformly elevate single-step decision quality; rather, its strength concentrates in error recovery and long-horizon resilience. To mitigate the deployment risks caused by this budget dependence, we provide a preliminary discussion on the benefits and limitations of process supervision signals and introduce BudgetMix RL as an alternative that varies interaction budgets during training. Experiments demonstrate that BudgetMix RL achieves robust performance across diverse execution settings. Project Page: https://rethinking-agentic-rl.github.io/
• Abstract（参考訳）: マルチターンエージェント強化学習(RL)は、長い水平タスクに優れるが、その性能向上は相互作用の制約に非常に敏感である。 サンプリング幅$K$と$Pass@(K,T)$を介して相互作用深度$T$を評価すると、軌道レベルのRLの利点は十分なターン予算に依存し、予算が厳格になると大幅に減少することを示す。 さらに、エージェントRLは単段階決定品質を均一に高めるのではなく、エラー回復と長時間水平レジリエンスに重点を置いている。 この予算依存によるデプロイメントリスクを軽減するため、プロセス監視信号の利点と制限について予備的な議論を行い、トレーニング中のインタラクション予算を変える代替手段としてBudgetMix RLを紹介します。 BudgetMix RLはさまざまな実行設定で堅牢なパフォーマンスを実現している。 Project Page: https://rethinking-agentic-rl.github.io/

関連論文リスト

• Co-RL: Unsupervised Reasoning Emerges from Diverse Cohort in Multi-agent RL [55.05743310621117]
  Co-RLは、パラメータを共有しない複数の分離されたモデルを、仲間から派生した報酬を使ってRLを通じて同時に最適化するフレームワークである。 我々は,コホート多様性の増大が,自己強化フィードバックループを駆動する相関誤差を減少させることを示す。
  論文  参考訳（メタデータ） (2026-08-18T01:16:02Z)
• ZEBRA: Zero-shot Budgeted Resource Allocation for LLM Orchestration [8.226365534099399]
  連続非線形クナップサック問題に対する多相予算割当を低減するフレームワークであるZEBRAを提案する。 150ドルのAPPS符号化ベンチマークでは、ZEBRAの2つの変種は全ての集計基準においてLLM-directよりも優れていた。 我々は,自律型マルチエージェントシステムの経済行動を改善するために,推論時の軽量なアルゴリズムガイダンスを提案する。
  論文  参考訳（メタデータ） (2026-05-19T20:50:05Z)
• SortedRL: Accelerating RL Training for LLMs through Online Length-Aware Scheduling [54.276306194000405]
  SortedRLを提案する。SortedRLは、強化学習をスケールするためのオンライン長対応スケジューリング戦略である。 SortedRLは、出力長に基づいてロールアウトサンプルをリオーダーし、短いサンプルが早期更新のためにグループを形成することを優先順位付けする。 LLaMA-3.1-8BとQwen-2.5-32Bを論理パズルを含む様々なタスクで実験した結果、SortedRLはRLトレーニングバブル比を50%以上削減することが示された。
  論文  参考訳（メタデータ） (2026-03-24T16:48:31Z)
• Just-In-Time Reinforcement Learning: Continual Learning in LLM Agents Without Gradient Updates [53.3717573880076]
  JitRL(Just-In-Time Reinforcement Learning、ジャスト・イン・タイム強化学習)は、テスト時間ポリシーの最適化を可能にするトレーニング不要のフレームワークである。 JitRLは、経験の動的で非パラメトリックな記憶を維持し、関連する軌跡を取得して、オンザフライでのアクションの利点を推定する。 WebArenaとJerrichoの実験では、JitRLがトレーニング不要メソッドの間に新しい最先端技術を確立していることが示されている。
  論文  参考訳（メタデータ） (2026-01-26T14:16:51Z)
• AgentRL: Scaling Agentic Reinforcement Learning with a Multi-Turn, Multi-Task Framework [76.96794548655292]
  大規模言語モデル(LLM)は、オンラインインタラクションを通じて学習できる汎用エージェントの構築への関心が高まっている。 マルチターンでLLMエージェントをトレーニングするために強化学習(RL)を適用することで、スケーラブルなインフラストラクチャと安定したトレーニングアルゴリズムが欠如しているため、マルチタスク設定は依然として困難である。 本稿では、スケーラブルなマルチターンマルチタスクエージェントRLトレーニングのためのAgentRLフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-05T13:40:01Z)
• Self-Regulation and Requesting Interventions [63.5863047447313]
  介入要求のための"helper"ポリシーをトレーニングするオフラインフレームワークを提案する。 PRMによる最適介入タイミングを判定し,これらのラベル付き軌道上でヘルパーモデルを訓練する。 このオフラインアプローチは、トレーニング中のコストのかかる介入コールを大幅に削減する。
  論文  参考訳（メタデータ） (2025-02-07T00:06:17Z)
• Efficient Adversarial Training without Attacking: Worst-Case-Aware Robust Reinforcement Learning [14.702446153750497]
  Worst-case-aware Robust RL (WocaR-RL) は、深層強化学習のための堅牢なトレーニングフレームワークである。 我々は,WocaR-RLが様々な攻撃により最先端の性能を達成することを示す。
  論文  参考訳（メタデータ） (2022-10-12T05:24:46Z)
• Fundamental Limits of Reinforcement Learning in Environment with Endogeneous and Exogeneous Uncertainty [5.117030416610515]
  オンライン強化学習(RL)は情報処理のシナリオに広く応用されている。 一般のマルコフ決定過程(MDP)において、不均一なRLを内在的および外在的不確実性とみなす。 我々は、文献の最新の結果と比較して、少なくとも$sqrtS$または$Sfrac16Tfrac112$で保存の後悔の限界を確立する。
  論文  参考訳（メタデータ） (2021-06-15T22:57:45Z)
• Active Reinforcement Learning: Observing Rewards at a Cost [9.034315299202847]
  アクティブ強化学習(英: Active reinforcement learning、ARL)は、エージェントがクエリコストを支払わない限り報酬を観察しない強化学習の変種である。 ARLの中心的な問題は、報酬情報の長期的な価値を定量化する方法である。 我々は,多腕バンディットおよび(タブラル)決定過程におけるARLに対するいくつかのアプローチを提案し,評価する。
  論文  参考訳（メタデータ） (2020-11-13T01:01:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。