論文の概要: ProRL Agent: Rollout-as-a-Service for RL Training of Multi-Turn LLM Agents

• arxiv url: http://arxiv.org/abs/2603.18815v1
• Date: Thu, 19 Mar 2026 12:08:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-20 17:19:06.134416
• Title: ProRL Agent: Rollout-as-a-Service for RL Training of Multi-Turn LLM Agents
• Title（参考訳）: ロールアウト・アズ・ア・サービスとしてのプロRLエージェント
• Abstract要約: ProRL Agentはスケーラブルなインフラストラクチャで、APIサービスを通じて完全なエージェントロールアウトライフサイクルを提供する。 ProRL AgentはNVIDIA NeMo Gymの一部としてオープンソースとして統合されている。
• 参考スコア（独自算出の注目度）: 75.40987300040632
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-turn LLM agents are increasingly important for solving complex, interactive tasks, and reinforcement learning (RL) is a key ingredient for improving their long-horizon behavior. However, RL training requires generating large numbers of sandboxed rollout trajectories, and existing infrastructures often couple rollout orchestration with the training loop, making systems hard to migrate and maintain. Under the rollout-as-a-service philosophy, we present ProRL Agent , a scalable infrastructure that serves the full agentic rollout lifecycle through an API service. ProRL Agent also provides standardized and extensible sandbox environments that support diverse agentic tasks in rootless HPC settings. We validate ProRL Agent through RL training on software engineering, math, STEM, and coding tasks. ProRL Agent is open-sourced and integrated as part of NVIDIA NeMo Gym.
• Abstract（参考訳）: 複雑で対話的なタスクや強化学習(RL)を解く上では,多ターンLDMエージェントがますます重要になってきています。 しかし、RLトレーニングは大量のサンドボックス化されたロールアウトトラジェクトリを生成する必要があり、既存のインフラストラクチャはトレーニングループとロールアウトオーケストレーションを結合することが多く、システムの移行とメンテナンスが困難になる。 ロールアウト・アズ・ア・サービスという理念の下で、APIサービスを通じてエージェントのロールアウトライフサイクルを完全に提供するスケーラブルなインフラストラクチャであるProRL Agentを紹介します。 ProRL Agentはまた、ルートレスHPC設定で多様なエージェントタスクをサポートする標準化された拡張可能なサンドボックス環境も提供する。 我々は、ソフトウェア工学、数学、STEM、コーディングタスクにおけるRLトレーニングを通じて、ProRL Agentを検証する。 ProRL AgentはNVIDIA NeMo Gymの一部としてオープンソースとして統合されている。

関連論文リスト

• AstraFlow: Dataflow-Oriented Reinforcement Learning for Agentic LLMs [57.86040075371121]
  強化学習(Reinforcement Learning, RL)は、大規模言語モデルの推論、コーディング、ツール使用能力の向上にますます利用されている。 エージェントRLは違法に高価である。 本稿では,従来のトレーナー中心制御を原則的コンポーネント抽象化に置き換えるデータフロー指向RLシステムであるAstraFlowを提案する。
  論文  参考訳（メタデータ） (2026-05-15T03:13:35Z)
• Agent^2 RL-Bench: Can LLM Agents Engineer Agentic RL Post-Training? [23.212983812736343]
  Agent2 RL-BenchはエージェントRLのポストトレーニングを評価するためのベンチマークである。 固定予算下では,教師付きパイプラインがエージェント駆動のポストトレーニングを支配していることがわかった。
  論文  参考訳（メタデータ） (2026-04-12T09:35:27Z)
• SortedRL: Accelerating RL Training for LLMs through Online Length-Aware Scheduling [54.276306194000405]
  SortedRLを提案する。SortedRLは、強化学習をスケールするためのオンライン長対応スケジューリング戦略である。 SortedRLは、出力長に基づいてロールアウトサンプルをリオーダーし、短いサンプルが早期更新のためにグループを形成することを優先順位付けする。 LLaMA-3.1-8BとQwen-2.5-32Bを論理パズルを含む様々なタスクで実験した結果、SortedRLはRLトレーニングバブル比を50%以上削減することが示された。
  論文  参考訳（メタデータ） (2026-03-24T16:48:31Z)
• AgentRL: Scaling Agentic Reinforcement Learning with a Multi-Turn, Multi-Task Framework [76.96794548655292]
  大規模言語モデル(LLM)は、オンラインインタラクションを通じて学習できる汎用エージェントの構築への関心が高まっている。 マルチターンでLLMエージェントをトレーニングするために強化学習(RL)を適用することで、スケーラブルなインフラストラクチャと安定したトレーニングアルゴリズムが欠如しているため、マルチタスク設定は依然として困難である。 本稿では、スケーラブルなマルチターンマルチタスクエージェントRLトレーニングのためのAgentRLフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-05T13:40:01Z)
• AgentGym-RL: Training LLM Agents for Long-Horizon Decision Making through Multi-Turn Reinforcement Learning [129.44038804430542]
  本稿では,マルチターン対話型意思決定のためのLLMエージェントをRLで学習する新しいフレームワークであるAgentGym-RLを紹介する。 本研究では,探索-探索バランスと安定したRL最適化のためのトレーニング手法であるScalingInter-RLを提案する。 当社のエージェントは、さまざまな環境にまたがる27のタスクで、商用モデルにマッチするか、超えています。
  論文  参考訳（メタデータ） (2025-09-10T16:46:11Z)
• ArCHer: Training Language Model Agents via Hierarchical Multi-Turn RL [80.10358123795946]
  大規模言語モデルを微調整するためのマルチターンRLアルゴリズムを構築するためのフレームワークを開発する。 我々のフレームワークは階層的なRLアプローチを採用し、2つのRLアルゴリズムを並列に実行している。 実験により,ArCHerはエージェントタスクの効率と性能を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-02-29T18:45:56Z)
• RL-GPT: Integrating Reinforcement Learning and Code-as-policy [82.1804241891039]
  本稿では,低速エージェントと高速エージェントからなる2レベル階層型フレームワークRL-GPTを提案する。 遅いエージェントはコーディングに適したアクションを分析し、速いエージェントはコーディングタスクを実行する。 この分解は、各エージェントが特定のタスクに効果的に集中し、パイプライン内で非常に効率的なことを証明します。
  論文  参考訳（メタデータ） (2024-02-29T16:07:22Z)
• SRL: Scaling Distributed Reinforcement Learning to Over Ten Thousand Cores [13.948640763797776]
  本稿では,RLトレーニングアプリケーションを汎用フレームワークに統合する,RLトレーニングのデータフローに関する新しい抽象化を提案する。 スケーラブルで効率的で分散的なRLシステムであるReaLly scalableRLを開発した。 SRLは15k以上のCPUコアでRL実験を大規模に実施した初めての学術コミュニティである。
  論文  参考訳（メタデータ） (2023-06-29T05:16:25Z)
• Distributed Reinforcement Learning for Cooperative Multi-Robot Object Manipulation [53.262360083572005]
  強化学習(RL)を用いた協調型マルチロボットオブジェクト操作タスクの検討 分散近似RL(DA-RL)とゲーム理論RL(GT-RL)の2つの分散マルチエージェントRLアプローチを提案する。 本稿では, DA-RL と GT-RL を多エージェントシステムに適用し, 大規模システムへの拡張が期待される。
  論文  参考訳（メタデータ） (2020-03-21T00:43:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。