論文の概要: SkyRL-Agent: Efficient RL Training for Multi-turn LLM Agent

• arxiv url: http://arxiv.org/abs/2511.16108v1
• Date: Thu, 20 Nov 2025 07:05:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-21 17:08:52.510774
• Title: SkyRL-Agent: Efficient RL Training for Multi-turn LLM Agent
• Title（参考訳）: SkyRL-Agent:マルチターンLDMエージェントのための効率的なRLトレーニング
• Abstract要約: 本稿では,SkyRL-Agentについて紹介する。 効率的な非同期ディスパッチ、軽量ツールの統合、柔軟なバックエンドの相互運用性を提供する。 我々は、Qwen3-32B (24.4% Pass@1)からトレーニングを受けたソフトウェアエンジニアリングエージェントであるSA-SWE-32Bを、純粋に強化学習で訓練する。
• 参考スコア（独自算出の注目度）: 63.15417992240217
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce SkyRL-Agent, a framework for efficient, multi-turn, long-horizon agent training and evaluation. It provides efficient asynchronous dispatching, lightweight tool integration, and flexible backend interoperability, enabling seamless use with existing RL frameworks such as SkyRL-train, VeRL, and Tinker. Using SkyRL-Agent, we train SA-SWE-32B, a software engineering agent trained from Qwen3-32B (24.4% Pass@1) purely with reinforcement learning. We introduce two key components: an optimized asynchronous pipeline dispatcher that achieves a 1.55x speedup over naive asynchronous batching, and a tool-enhanced training recipe leveraging an AST-based search tool to facilitate code navigation, boost rollout Pass@K, and improve training efficiency. Together, these optimizations enable SA-SWE-32B to reach 39.4% Pass@1 on SWE-Bench Verified with more than 2x cost reduction compared to prior models reaching similar performance. Despite being trained solely on SWE tasks, SA-SWE-32B generalizes effectively to other agentic tasks, including Terminal-Bench, BrowseComp-Plus, and WebArena. We further demonstrate SkyRL-Agent's extensibility through case studies on deep research, computer use, and memory agents, each trained using a different training backend.
• Abstract（参考訳）: 本稿では,SkyRL-Agentについて紹介する。 効率的な非同期ディスパッチ、軽量なツール統合、フレキシブルなバックエンド相互運用性を提供し、SkyRL-train、VeRL、Tinkerといった既存のRLフレームワークとのシームレスな使用を可能にする。 SkyRL-Agentを使って、Qwen3-32B (24.4% Pass@1)からトレーニングを受けたソフトウェアエンジニアリングエージェントSA-SWE-32Bを、純粋に強化学習で訓練する。 非同期バッチ処理による1.55倍の高速化を実現する最適化された非同期パイプラインディスパッチと、ASTベースの検索ツールを活用してコードナビゲーションを容易にし、Pass@Kをロールアウトし、トレーニング効率を向上させるツール強化のトレーニングレシピである。 これらの最適化により、SA-SWE-32B は SWE-Bench Verified 上で 39.4% Pass@1 に達することができ、以前のモデルに比べて2倍以上のコスト削減が可能となった。 SA-SWE-32BはSWEタスクのみに訓練されているにもかかわらず、ターミナルベンチ、BrowseComp-Plus、WebArenaなど他のエージェントタスクに効果的に一般化されている。 さらに,SkyRL-Agentの拡張性を,深層研究,コンピュータ使用,メモリエージェントのケーススタディを通じて実証する。

関連論文リスト

• Agent Lightning v1.0: Towards Harnessed Agentic RL [28.087691629023038]
  本稿では,エージェントRLを利用する軽量フレームワークであるAgens Lightning v1.0を紹介する。 任意のエージェントハーネスをサポートし、これらの課題を研究するための実践的なテストベッドとして機能する。 我々は、命令追従、探索、符号化エージェントについて評価し、符号化エージェントRLのための完全な再現可能なパイプラインを提供する。
  論文  参考訳（メタデータ） (2026-08-18T08:50:13Z)
• SCALECUA: Scaling Computer Use Agents with Verifiable Task Synthesis and Efficient Online RL [38.05711358650287]
  コンピュータ利用エージェント(CUA)は、視覚認識とGUI実行を通じて複雑なデジタルを自動化する強力なインターフェースとして登場しつつある。 検証可能な報酬(RLVR)を備えたオンライン強化学習は、その能力をスケールアップするための重要な方向として現れている。 検証可能なタスク合成と効率的なトレーニングを通じてCUAのオンラインRLをスケールする統合フレームワークであるScaleCUAを紹介する。
  論文  参考訳（メタデータ） (2026-07-13T07:32:35Z)
• Synthetic Sandbox for Training Machine Learning Engineering Agents [26.34347159807133]
  SandMLEは、少数のシードタスクから検証可能な合成MLE環境を生成するマルチエージェントフレームワークである。 我々は,SandMLEが13回以上実行時間を短縮し,MLEドメインで初めて大規模かつオン・ポリティクスなRLを実現することを示す。
  論文  参考訳（メタデータ） (2026-04-06T17:19:29Z)
• SortedRL: Accelerating RL Training for LLMs through Online Length-Aware Scheduling [54.276306194000405]
  SortedRLを提案する。SortedRLは、強化学習をスケールするためのオンライン長対応スケジューリング戦略である。 SortedRLは、出力長に基づいてロールアウトサンプルをリオーダーし、短いサンプルが早期更新のためにグループを形成することを優先順位付けする。 LLaMA-3.1-8BとQwen-2.5-32Bを論理パズルを含む様々なタスクで実験した結果、SortedRLはRLトレーニングバブル比を50%以上削減することが示された。
  論文  参考訳（メタデータ） (2026-03-24T16:48:31Z)
• RollArt: Scaling Agentic RL Training via Disaggregated Infrastructure [49.88201789074532]
  エージェント強化学習(RL)は、大規模言語モデル(LLM)が自律的な意思決定と長期計画を行うことを可能にする。 分散インフラストラクチャ上でマルチタスクエージェントRLのスループットを最大化する分散システムであるRollArcを提案する。
  論文  参考訳（メタデータ） (2025-12-27T11:14:23Z)
• AgentRL: Scaling Agentic Reinforcement Learning with a Multi-Turn, Multi-Task Framework [76.96794548655292]
  大規模言語モデル(LLM)は、オンラインインタラクションを通じて学習できる汎用エージェントの構築への関心が高まっている。 マルチターンでLLMエージェントをトレーニングするために強化学習(RL)を適用することで、スケーラブルなインフラストラクチャと安定したトレーニングアルゴリズムが欠如しているため、マルチタスク設定は依然として困難である。 本稿では、スケーラブルなマルチターンマルチタスクエージェントRLトレーニングのためのAgentRLフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-05T13:40:01Z)
• Efficient Multi-turn RL for GUI Agents via Decoupled Training and Adaptive Data Curation [65.3648667980258]
  視覚言語モデル(VLM)に基づくGUIエージェントは複雑なタスクの自動化を約束するが、強化学習(RL)の適用において大きな課題に直面している。 異種モジュールを高度に非結合的に協調するGUIエージェントのための非結合エージェントRLトレーニングフレームワークであるDARTを提案する。 OSWorldのベンチマークでは、DART-GUI-7Bは42.13%のタスク成功率、14.61%の絶対ゲイン、オープンソースSOTAよりも7.34%高い。
  論文  参考訳（メタデータ） (2025-09-28T13:19:20Z)
• rStar2-Agent: Agentic Reasoning Technical Report [25.266747156205266]
  rStar2-Agentは、エージェント強化学習を用いて訓練された14Bの数学推論モデルであり、フロンティアレベルの性能を実現する。 この目的のために、rStar2-Agentはトレーニング済みの14Bモデルを1週間以内に510RLのステップで最先端に引き上げ、平均パス@1スコアはAIME24で80.6%、AIME25で69.8%となる。
  論文  参考訳（メタデータ） (2025-08-28T12:45:25Z)
• How to Train Your LLM Web Agent: A Statistical Diagnosis [96.86317871461834]
  LLMウェブエージェントのポストトレーニングにおける計算割当に関する統計学的基礎研究について述べる。 提案手法では,Llama 3.1 8Bの学生を対象に,教師付き微調整(SFT)とオンライン強化学習を用いて,Llama 3.3 70Bの教師を模倣する2段階のパイプラインを用いた。 以上の結果から,SFTとオンラインRLの組み合わせは,WorkArenaとMiniWob++のいずれにおいても,単独でのアプローチよりも一貫して優れていた。
  論文  参考訳（メタデータ） (2025-07-05T17:12:33Z)
• Trajectory Balance with Asynchrony: Decoupling Exploration and Learning for Fast, Scalable LLM Post-Training [71.16258800411696]
  強化学習(Reinforcement Learning, RL)は、大規模言語モデル(LLM)のポストトレーニングにおいて重要な要素である。 ポストトレーニングに使われている既存のオンラインアルゴリズムは、経験的リプレイバッファの使用と本質的に相容れない。 本稿では,TBA(Trajectory Balance with Asynchrony)によるバッファの再生を効率よく行うことを提案する。
  論文  参考訳（メタデータ） (2025-03-24T17:51:39Z)
• DistRL: An Asynchronous Distributed Reinforcement Learning Framework for On-Device Control Agents [38.0441002097771]
  DistRLは、モバイルデバイス制御エージェントのオンラインRLファインチューニングの効率を高めるために設計された、新しいフレームワークである。 平均して、DistRLはトレーニング効率を3倍改善し、主要な同期マルチマシンメソッドよりも2.4倍高速なトレーニングデータ収集を可能にする。
  論文  参考訳（メタデータ） (2024-10-18T18:19:56Z)
• Contextualized Hybrid Ensemble Q-learning: Learning Fast with Control Priors [5.004576576202551]
  適応型ハイブリッド強化学習アルゴリズムCHEQ(Contextualized Hybrid Ensemble Q-learning)を提案する。 CHEQは、(i)適応重みを文脈変数として扱う適応ハイブリッドRL問題の時間不変な定式化、(ii)批判アンサンブルのパラメトリック不確実性に基づく重み適応機構、(iii)データ効率RLのためのアンサンブルベースの加速度の3つの重要な要素を組み合わせる。 CHEQをカーレースタスクで評価することで、最先端の適応型ハイブリッドRL法よりもデータ効率、探索安全性、未知のシナリオへの転送性が大幅に向上する。
  論文  参考訳（メタデータ） (2024-06-28T09:17:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。