論文の概要: MCP-Universe RL: A Framework for Training MCP Tool-Use Agents via Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2608.22167v1
• Date: Sun, 23 Aug 2026 01:49:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 13:29:43.641258
• Title: MCP-Universe RL: A Framework for Training MCP Tool-Use Agents via Reinforcement Learning
• Title（参考訳）: MCP-Universe RL:強化学習によるMPPツール使用エージェントの訓練フレームワーク
• Abstract要約: 強化学習(RL)は,大規模言語モデル(LLM)のツール利用能力向上に有効な方法となっている。 既存のRLフレームワークのほとんどは、ポリシー更新で停止する。 オープンソースフレームワークであるMCP-Universe RL(MCP-U RL)について述べる。
• 参考スコア（独自算出の注目度）: 54.082979654934
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning (RL) has become an effective way to improve the tool-use ability of large language models (LLMs), but most existing RL frameworks stop at the policy update. For every new domain, the user is left with two hard systems problems: standing up an isolated environment for each of hundreds of concurrent trajectories and connecting it to training, and scheduling the rollout so that the GPU stays busy across long, multi-turn episodes that spend much of their time stalled on slow tool calls. We present MCP-Universe RL (MCP-U RL), an open-source framework that takes over both. It uses the Model Context Protocol (MCP) as the interface to the environment, so any tool already exposed as an MCP server plugs into training with no RL-specific integration code. It builds the two missing layers once and reuses them across domains: an environment-orchestration layer that provisions, isolates, and recycles the MCP environments over a pluggable container backend, and a rollout-orchestration layer whose staged pipeline overlaps trajectories to keep the GPU busy while episodes wait on tools. A backend-agnostic training layer then applies the update through an existing RL backend, with veRL and slime integrations. With one configuration, changing only the task specification, we train software-engineering, deep-research, and general tool-use agents on gpt-oss-20b and improve task reward in all three.
• Abstract（参考訳）: 強化学習(RL)は、大規模言語モデル(LLM)のツール使用能力を改善する効果的な方法となっているが、既存のRLフレームワークのほとんどはポリシー更新で停止している。 数百の同時トラジェクトリ毎に分離された環境を立たせ、トレーニングに接続し、ロールアウトをスケジューリングすることで、GPUが遅いツールコールに多くの時間を費やす長いマルチターンエピソードで忙しくなる。 オープンソースフレームワークであるMCP-Universe RL(MCP-U RL)について述べる。 Model Context Protocol (MCP) を環境へのインタフェースとして使用するため、すでにMSPサーバとして公開されているツールは、RL固有の統合コードなしでトレーニングにプラグインされる。 プラガブルなコンテナバックエンド上でMPP環境をプロビジョニング、分離、リサイクルする環境調整層と、ステージ化されたパイプラインがトラジェクトリに重なり、エピソードがツールを待つ間GPUを忙しく保つロールアウトオーケストレーション層である。 バックエンドに依存しないトレーニング層は、既存のRLバックエンドを通じて更新を適用し、veRLとスリムな統合を行う。 1つの設定でタスク仕様だけを変更し、ソフトウェアエンジニアリング、ディープリサーチ、一般的なツール使用エージェントをgpt-oss-20bでトレーニングし、3つすべてでタスク報酬を改善する。

関連論文リスト

• ProRL Agent: Rollout-as-a-Service for RL Training of Multi-Turn LLM Agents [75.40987300040632]
  ProRL Agentはスケーラブルなインフラストラクチャで、APIサービスを通じて完全なエージェントロールアウトライフサイクルを提供する。 ProRL AgentはNVIDIA NeMo Gymの一部としてオープンソースとして統合されている。
  論文  参考訳（メタデータ） (2026-03-19T12:08:51Z)
• RollArt: Scaling Agentic RL Training via Disaggregated Infrastructure [49.88201789074532]
  エージェント強化学習(RL)は、大規模言語モデル(LLM)が自律的な意思決定と長期計画を行うことを可能にする。 分散インフラストラクチャ上でマルチタスクエージェントRLのスループットを最大化する分散システムであるRollArcを提案する。
  論文  参考訳（メタデータ） (2025-12-27T11:14:23Z)
• Role-Based Fault Tolerance System for LLM RL Post-Training [24.163081819380647]
  トレーニング後のRLはトレーニングと推論のワークロードをインターリーブし、システムを両側の障害に晒す。 私たちの重要な洞察は、ロールベースの障害分離です。 本稿では,RL後トレーニング時間比改善のためのGPUマシンエラーを処理する,初の総合的ロバストシステムであるRobustRLを提案する。
  論文  参考訳（メタデータ） (2025-12-27T06:30:18Z)
• Laminar: A Scalable Asynchronous RL Post-Training Framework [20.127034898123508]
  RL軌道生成における長い尾の歪みは、重いGPU不使用を引き起こす。 現在のRLシステムはアクターとロールアウト間のグローバルな重量同期に依存しており、厳密なモデル更新スケジュールを生成する。 完全に分離されたアーキテクチャ上に構築されたスケーラブルで堅牢なRLポストトレーニングシステムであるLaminarを提案する。
  論文  参考訳（メタデータ） (2025-10-14T15:29:14Z)
• AgentRL: Scaling Agentic Reinforcement Learning with a Multi-Turn, Multi-Task Framework [76.96794548655292]
  大規模言語モデル(LLM)は、オンラインインタラクションを通じて学習できる汎用エージェントの構築への関心が高まっている。 マルチターンでLLMエージェントをトレーニングするために強化学習(RL)を適用することで、スケーラブルなインフラストラクチャと安定したトレーニングアルゴリズムが欠如しているため、マルチタスク設定は依然として困難である。 本稿では、スケーラブルなマルチターンマルチタスクエージェントRLトレーニングのためのAgentRLフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-05T13:40:01Z)
• RLFactory: A Plug-and-Play Reinforcement Learning Post-Training Framework for LLM Multi-Turn Tool-Use [50.52940111891476]
  大きな言語モデルは基本的な推論では優れているが、外部ツールとのインタラクションを必要とするタスクには苦労する。 マルチラウンドツール用プラグイン・アンド・プレイ強化学習フレームワークであるRLFactoryを提案する。
  論文  参考訳（メタデータ） (2025-08-31T16:47:31Z)
• StreamRL: Scalable, Heterogeneous, and Elastic RL for LLMs with Disaggregated Stream Generation [55.75008325187133]
  強化学習(RL)は,大規模言語モデル(LLM)の学習後のコアとなる。 StreamRLは、最初の原則から分離して、2種類のパフォーマンスボトルネックに対処するように設計されている。 実験により、StreamRLは既存の最先端システムと比較してスループットを最大2.66倍改善することが示された。
  論文  参考訳（メタデータ） (2025-04-22T14:19:06Z)
• RLtools: A Fast, Portable Deep Reinforcement Learning Library for Continuous Control [7.259696592534715]
  深層強化学習(Deep Reinforcement Learning, RL)は、複数のドメインで有能なエージェントとコントロールポリシーを得られるが、一般的には、非常に長い訓練時間によって悩まされる。 RLtoolsは依存性のない、ヘッダのみの純粋なC++ライブラリで、深い教師付きと強化学習のためのライブラリである。
  論文  参考訳（メタデータ） (2023-06-06T09:26:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。