論文の概要: Agent^2 RL-Bench: Can LLM Agents Engineer Agentic RL Post-Training?

• arxiv url: http://arxiv.org/abs/2604.10547v1
• Date: Sun, 12 Apr 2026 09:35:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-14 20:13:16.092277
• Title: Agent^2 RL-Bench: Can LLM Agents Engineer Agentic RL Post-Training?
• Title（参考訳）: エージェント^2 RL-ベンチ : LLM エージェントはRL後処理に役立てられるか?
• Authors: Wanyi Chen, Xiao Yang, Xu Yang, Tianming Sha, Qizheng Li, Zhuo Wang, Bowen Xian, Fang Kong, Weiqing Liu, Jiang Bian,
• Abstract要約: Agent2 RL-BenchはエージェントRLのポストトレーニングを評価するためのベンチマークである。 固定予算下では,教師付きパイプラインがエージェント駆動のポストトレーニングを支配していることがわかった。
• 参考スコア（独自算出の注目度）: 23.212983812736343
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We introduce Agent^2 RL-Bench, a benchmark for evaluating agentic RL post-training -- whether LLM agents can autonomously design, implement, and run complete RL pipelines that improve foundation models. This capability is important because RL post-training increasingly drives model alignment and specialization, yet existing benchmarks remain largely static: supervised fine-tuning alone yields strong results, leaving interactive RL engineering untested. Agent^2 RL-Bench addresses this with six tasks across three levels -- from static rule-based training to closed-loop online RL with trajectory collection -- each adding a structural requirement that prior levels do not impose. The benchmark provides isolated workspaces with a grading API, runtime instrumentation that records every submission and code revision, and automated post-hoc analysis that generates structured run reports, enabling the first automated diagnostic of agent-driven post-training behavior. Across multiple agent stacks spanning five agent systems and six driver LLMs, we find that agents achieve striking interactive gains -- on ALFWorld, an RL-only agent improves from 5.97 to 93.28 via SFT warm-up and GRPO with online rollouts -- yet make only marginal progress on others (DeepSearchQA: +2.75 within evaluation noise), and that driver choice has a large effect on interactive tasks -- within the same scaffold, switching drivers changes interactive improvement from near-zero to +78pp. More broadly, the benchmark reveals that supervised pipelines dominate agent-driven post-training under fixed budgets, with online RL succeeding as the final best route only on ALFWorld. Code is available at https://github.com/microsoft/RD-Agent/tree/main/rdagent/scenarios/rl/autorl_bench.
• Abstract（参考訳）: 我々は,エージェントRLポストトレーニングを評価するベンチマークであるAgent^2 RL-Benchを紹介した。 RLのポストトレーニングがモデルアライメントと特殊化を推進しているため、この能力は重要であるが、既存のベンチマークはほとんど静的であり、教師付き微調整だけで強力な結果が得られ、インタラクティブなRLエンジニアリングは未検証のままである。 Agent^2 RL-Benchは、静的ルールベースのトレーニングから、トラジェクトリコレクションを備えたクローズループオンラインRLまで、三つのレベルにわたる6つのタスクでこの問題に対処する。 ベンチマークでは、グレーディングAPI、すべてのサブミッションとコードリビジョンを記録するランタイムインスツルメンテーション、構造化された実行レポートを生成する自動ポストホック分析、エージェント駆動のトレーニング後の振る舞いを初めて自動診断する機能を提供する。 5つのエージェントシステムと6つのドライバLDMにまたがる複数のエージェントスタックにわたって、エージェントが目覚ましい対話的なゲインを達成することが分かっています -- ALFWorldでは、RLのみのエージェントが、オンラインロールアウトによるSFTウォームアップとGRPOを通じて5.97から93.28に改善されているのです。 より広い範囲では、教師付きパイプラインが固定予算の下でエージェント駆動のポストトレーニングを支配しており、オンラインRLはALFWorldでのみ最終最適ルートとして成功している。 コードはhttps://github.com/microsoft/RD-Agent/tree/main/rdagent/scenarios/rl/autorl_benchで公開されている。

関連論文リスト

• ProRL Agent: Rollout-as-a-Service for RL Training of Multi-Turn LLM Agents [75.40987300040632]
  ProRL Agentはスケーラブルなインフラストラクチャで、APIサービスを通じて完全なエージェントロールアウトライフサイクルを提供する。 ProRL AgentはNVIDIA NeMo Gymの一部としてオープンソースとして統合されている。
  論文  参考訳（メタデータ） (2026-03-19T12:08:51Z)
• Behavior Knowledge Merge in Reinforced Agentic Models [48.89546963456286]
  強化学習はポストトレーニングの中心であり、特に特別な推論行動を必要とするエージェントモデルにとって重要である。 既存のマージ手法は教師付き微調整(SFT)のために設計されており、RL学習エージェントモデル上でタスク固有の機能を維持するのに最適である。 本稿では,RL学習エージェントモデル用に明示的に設計された分散対応エージェントマージフレームワークであるReinforced Agent Merging (RAM)を提案する。
  論文  参考訳（メタデータ） (2026-01-20T03:56:53Z)
• AgentRL: Scaling Agentic Reinforcement Learning with a Multi-Turn, Multi-Task Framework [76.96794548655292]
  大規模言語モデル(LLM)は、オンラインインタラクションを通じて学習できる汎用エージェントの構築への関心が高まっている。 マルチターンでLLMエージェントをトレーニングするために強化学習(RL)を適用することで、スケーラブルなインフラストラクチャと安定したトレーニングアルゴリズムが欠如しているため、マルチタスク設定は依然として困難である。 本稿では、スケーラブルなマルチターンマルチタスクエージェントRLトレーニングのためのAgentRLフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-05T13:40:01Z)
• $Agent^2$: An Agent-Generates-Agent Framework for Reinforcement Learning Automation [5.325886106098561]
  強化学習(RL)エージェント開発は伝統的にかなりの専門知識と反復的な努力を必要とする。 本稿では,完全自動RLエージェント設計のための LLM 駆動型エージェント生成エージェントフレームワークである Agent$2$ を紹介する。 Agent$2$は、自然言語のタスク記述と環境コードを人間の介入なしに実行可能なRLソリューションに変換する。
  論文  参考訳（メタデータ） (2025-09-16T02:14:39Z)
• Agent Lightning: Train ANY AI Agents with Reinforcement Learning [24.13422767414729]
  我々は,任意のAIエージェントに対して,強化学習(RL)に基づくLarge Language Models(LLM)のトレーニングを可能にするフレームワークであるAgens Lightningを提案する。 エージェント実行をマルコフ決定プロセスとして定式化することにより、統一データインターフェースを定義し、クレジット代入モジュールを含む階層的RLアルゴリズムLightningRLを提案する。 システム設計のために、トレーニング・エージェント・デアグリゲーションアーキテクチャを導入し、エージェント・オブザーバビリティ・フレームワークをエージェント・ランタイムに導入する。
  論文  参考訳（メタデータ） (2025-08-05T17:50:13Z)
• MALT: Improving Reasoning with Multi-Agent LLM Training [67.76186488361685]
  MALT(Multi-Agent LLM Training)は、推論プロセスを生成、検証、改善ステップに分割する、新しいポストトレーニング戦略である。 MATH、GSM8K、CSQAでは、MALTは、それぞれ15.66%、7.42%、9.40%の相対的な改善で同じベースラインLLMを上回っている。
  論文  参考訳（メタデータ） (2024-12-02T19:30:36Z)
• ArCHer: Training Language Model Agents via Hierarchical Multi-Turn RL [80.10358123795946]
  大規模言語モデルを微調整するためのマルチターンRLアルゴリズムを構築するためのフレームワークを開発する。 我々のフレームワークは階層的なRLアプローチを採用し、2つのRLアルゴリズムを並列に実行している。 実験により,ArCHerはエージェントタスクの効率と性能を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-02-29T18:45:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。