論文の概要: SPROUT: Scaling Agentic Reinforcement Learning for Long-Horizon Software Engineering

• arxiv url: http://arxiv.org/abs/2610.14405v1
• Date: Fri, 09 Oct 2026 23:58:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 21:44:51.356745
• Title: SPROUT: Scaling Agentic Reinforcement Learning for Long-Horizon Software Engineering
• Title（参考訳）: SPROUT: 長距離ソフトウェアエンジニアリングのためのエージェント強化学習のスケーリング
• Abstract要約: SPROUT(SnaPshotベースのRollOUT)は、中間状態からの分岐を再開することで、長距離コーディングタスクをスケールする。 検証対象のバックトラックポリシーは、失敗した試みを再開する場所と進む方法を選択する。 Qwen3.8-27BのRLトレーニングでは、SPROUTは3つの長期コーディングベンチマークにおいて、StandardOの13.9ドルポイントを安定的に上回っている。
• 参考スコア（独自算出の注目度）: 20.615189510256
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning (RL) has driven substantial progress in coding agents by relying on verified successful trajectories as learning signals. However, such trajectories are scarce in long-horizon software engineering tasks, where a minor error can invalidate the entire rollout. Repeatedly restarting from the initial state is commonly used yet inefficient, and resetting only the context with working directory misses state changes such as installed dependencies. Therefore, branching from intermediate steps to preserve earlier progress requires restoring both the agent context and execution environments. In this paper, we present SPROUT (SnaPshot-based RollOUT), an agentic RL rollout framework that scales long-horizon coding tasks by resuming and branching from intermediate states. Specifically, SPROUT was built on top of a lightweight infrastructure that checkpoints both the filesystem and the agent context after each assistant turn. A verifier-guided backtracking policy then selects where to resume a failed attempt and how to proceed. Extensive experiments on long-horizon coding tasks show that SPROUT achieves up to 23.6% improvement over pass@k across various LLMs, while using $32$--$52%$ of their tokens. For RL training of Qwen3.8-27B, SPROUT stably outperforms standard GRPO by $13.9$ points on three long-horizon coding benchmarks while cutting the time per training step by $39.5%$. SPROUT thus makes RL on long-horizon coding tasks both more effective and cheaper to scale.
• Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は、実績のある軌道を学習信号として頼りにすることで、コーディングエージェントの大幅な進歩を導いた。 しかし、このような軌道は、ロールアウト全体を小さなエラーで無効にできるような、長期のソフトウェアエンジニアリングタスクでは不十分である。 初期状態から繰り返し再起動することは、一般的には使われないが非効率であり、作業ディレクトリのコンテキストのみをリセットすることは、インストールされた依存関係のような状態変更を見逃す。 そのため、初期の進捗を維持するために中間ステップから分岐するには、エージェントコンテキストと実行環境の両方を復元する必要がある。 本稿では,SPROUT(SnaPshot-based RollOUT)というエージェントRLロールアウトフレームワークについて述べる。 具体的には、SPROUTは、各アシスタントターン後にファイルシステムとエージェントコンテキストの両方をチェックポイントする軽量インフラストラクチャの上に構築されている。 検証対象のバックトラックポリシーは、失敗した試みを再開する場所と進む方法を選択する。 長期コーディングタスクに関する大規模な実験によると、SPROUTは、トークンの32ドル～52%ドルを使用しながら、様々なLLMでpass@kよりも最大23.6%改善されている。 Qwen3.8-27BのRLトレーニングでは、SPROUTは3つの長距離コーディングベンチマークで標準GRPOの13.9ドルを安定的に上回り、トレーニング毎の時間を39.5%削減した。 したがって、SPROUTは長距離符号化タスクにおけるRLをより効果的かつ安価にスケールできるようにする。

関連論文リスト

• SWE-Critix: Post-Training Generalist Verifiers for Assessing Coding-Agent Trajectories [6.583588820375731]
  本稿では,SWE-Critixについて紹介する。 タスクとその実行軌跡が与えられた場合、学習された検証者は完了ラベルを予測し、その判断を説明する自然言語解析を生成する。 SWE-Critixは, ベースQwen3-30B-A3B推論モデルの分類精度を, SFT後66%, RL後78%に改善した。
  論文  参考訳（メタデータ） (2026-10-09T10:30:21Z)
• TRACE: Turn-level Reward Assignment via Credit Estimation for Long-Horizon Agents [51.523913302114266]
  TRACE(Turn-level Reward Assignment via Credit Estimation)は、エージェント強化学習のための高密度クレジットアサインメント手法である。 ツールコール境界における状態遷移としてロールアウトを表現し、凍結参照モデルからゴールド・アンサー・ログ確率を取得し、それらをログ比の状態値に変換し、それらの値の時間差変化としてアクション毎の報酬を導出する。 純粋なRLを用いたベースモデルツール使用能力を大幅に向上させ、冷間開始制御された微調整ステージ、エージェント訓練ステージ、ライブWebデータによるトレーニングを不要とした。
  論文  参考訳（メタデータ） (2026-07-15T16:16:42Z)
• Libra: Efficient Resource Management for Agentic RL Post-Training [11.701871372256205]
  強化学習(Reinforcement Learning, RL)は、大規模言語モデル(LLM)を有能なエージェントに変換するための訓練後の標準パラダイムとして登場した。 エージェントRLでは、ロールアウトステージはツールを呼び出しながら軌道を生成し、長い尾と静止しないワークロードを生成する。 両課題に対処するリソース管理システムLibraについて,2つのコアメカニズムを用いて紹介する。
  論文  参考訳（メタデータ） (2026-06-02T03:09:13Z)
• From Patches to Trajectories: Privileged Process Supervision for Software-Engineering Agents [56.31499185764872]
  教師の長い軌道上の監督された微調整(SFT)は、オープンソフトウェアエンジニアリング(SWE)エージェントに調査と推論を浸透させる主要な方法である。 本稿では,P2T (Patches-to-Trajectories) を提案する。P2T (Patches-to-Trajectories) は,P2T (Patches-to-Trajectories) において,P2T (Patches-to-Trajectories) とP2T (Patches-to-Trajectories) の2つの最適化法である。
  論文  参考訳（メタデータ） (2026-05-21T04:54:55Z)
• SortedRL: Accelerating RL Training for LLMs through Online Length-Aware Scheduling [54.276306194000405]
  SortedRLを提案する。SortedRLは、強化学習をスケールするためのオンライン長対応スケジューリング戦略である。 SortedRLは、出力長に基づいてロールアウトサンプルをリオーダーし、短いサンプルが早期更新のためにグループを形成することを優先順位付けする。 LLaMA-3.1-8BとQwen-2.5-32Bを論理パズルを含む様々なタスクで実験した結果、SortedRLはRLトレーニングバブル比を50%以上削減することが示された。
  論文  参考訳（メタデータ） (2026-03-24T16:48:31Z)
• Pull Requests as a Training Signal for Repo-Level Code Editing [49.82435173554125]
  Clean Pull Request(Clean-PR)は、現実のGitHubプルリクエストをリポジトリレベルの編集のトレーニングシグナルとして活用する、トレーニング中のパラダイムである。 ノイズの多いプルリクエストの差分を,再構築と検証を通じて検索/リプレース編集ブロックに変換する,スケーラブルなパイプラインを導入する。 SWE-benchでは,SWE-bench Liteが13.6%,SWE-bench Verifiedが12.3%,命令調整ベースラインが大幅に向上した。
  論文  参考訳（メタデータ） (2026-02-07T09:22:25Z)
• Reinforcement Learning for Machine Learning Engineering Agents [52.03168614623642]
  強化学習によって改善される弱いモデルによって支援されるエージェントは、はるかに大きいが静的モデルによって支援されるエージェントよりも優れていることを示す。 分散非同期RLフレームワークにおいて,高コストかつ高利回りな動作を増幅するための時間依存性の勾配更新を提案する。 また,早期に失敗するプログラムとほぼ正しくないプログラムを区別し,部分クレジットを提供する環境機器を提案する。
  論文  参考訳（メタデータ） (2025-09-01T18:04:10Z)
• RL-GPT: Integrating Reinforcement Learning and Code-as-policy [82.1804241891039]
  本稿では,低速エージェントと高速エージェントからなる2レベル階層型フレームワークRL-GPTを提案する。 遅いエージェントはコーディングに適したアクションを分析し、速いエージェントはコーディングタスクを実行する。 この分解は、各エージェントが特定のタスクに効果的に集中し、パイプライン内で非常に効率的なことを証明します。
  論文  参考訳（メタデータ） (2024-02-29T16:07:22Z)
• Learning Progress Driven Multi-Agent Curriculum [16.228784877899976]
  エージェントの数は、マルチエージェント強化学習(MARL)タスクの難易度を制御するための効果的なカリキュラム変数となる。 MARLに既存の報酬に基づく自動カリキュラム学習手法を適用しながら、2つの潜在的な欠陥を同定する。 本稿では,TDエラーに基づく*ラーニングプログレス*尺度を用いてカリキュラムを制御し,初期コンテキスト分布から最終タスク特定項目へカリキュラムを進行させることによってカリキュラムを制御することを提案する。
  論文  参考訳（メタデータ） (2022-05-20T08:16:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。