論文の概要: Agent Lightning v1.0: Towards Harnessed Agentic RL

• arxiv url: http://arxiv.org/abs/2608.17528v1
• Date: Tue, 18 Aug 2026 08:50:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-19 21:40:53.274473
• Title: Agent Lightning v1.0: Towards Harnessed Agentic RL
• Title（参考訳）: Agent Lightning v1.0: Harnessed Agentic RLに向けて
• Abstract要約: 本稿では,エージェントRLを利用する軽量フレームワークであるAgens Lightning v1.0を紹介する。 任意のエージェントハーネスをサポートし、これらの課題を研究するための実践的なテストベッドとして機能する。 我々は、命令追従、探索、符号化エージェントについて評価し、符号化エージェントRLのための完全な再現可能なパイプラインを提供する。
• 参考スコア（独自算出の注目度）: 28.087691629023038
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern agents operate inside agent harnesses that manage tools, context, and control flow, making the harness a critical part of the agent system. Our original Agent Lightning introduced a disaggregated architecture that connects arbitrary agents to RL training through an LLM endpoint proxy, an approach later adopted by frameworks such as verl Uni-Agent, AReaL 2.0, slime, and Polar. We refer to this paradigm as harnessed agentic RL, where the deploy-time harness directly participates in model post-training. Harnessed agentic RL differs fundamentally from traditional agentic RL: the harness, rather than the training engine, owns the environment interaction loop, while the trainer observes only sequences of LLM request-response pairs. This introduces challenges in retokenization, sample merging, advantage calculation, loss normalization, and backend scheduling, which can substantially affect training stability and effectiveness. We present Agent Lightning v1.0, a lightweight framework for harnessed agentic RL implemented in approximately 3,500 lines of code. It supports arbitrary agent harnesses and serves as a practical testbed for studying these challenges. We evaluate it on instruction-following, search, and coding agents, and provide a complete reproducible pipeline for coding-agent RL. Using only 6K training examples and modest compute, RL improves Qwen3.5-9B on SWE-bench Verified from 41.8% to 56.4%, a 14.6-point absolute gain. We release the complete workflow and training scripts to facilitate reproducible research on harnessed agentic RL.
• Abstract（参考訳）: 現代のエージェントは、ツール、コンテキスト、制御フローを管理するエージェントハーネス内で動作する。 元々のAgent Lightningは、任意のエージェントをLLMエンドポイントプロキシを介してRLトレーニングに接続する分離アーキテクチャを導入しました。 我々は、このパラダイムを、デプロイ時ハーネスがモデル後トレーニングに直接参加するエージェントRLと呼ぶ。 ハーネス付きエージェントRLは従来のエージェントRLと根本的に異なり、トレーニングエンジンではなくハーネスが環境相互作用ループを所有し、トレーナーはLLM要求応答ペアのシーケンスのみを観測する。 これは再トークン化、サンプルマージ、優位計算、損失正規化、バックエンドスケジューリングといった課題を導入し、トレーニングの安定性と効果に大きな影響を与える。 約3500行のコードで実装されたエージェントRLの軽量フレームワークであるAgens Lightning v1.0を提案する。 任意のエージェントハーネスをサポートし、これらの課題を研究するための実践的なテストベッドとして機能する。 我々は、命令追従、探索、符号化エージェントについて評価し、符号化エージェントRLのための完全な再現可能なパイプラインを提供する。 わずか6Kのトレーニング例と控えめな計算を用いて、RLは41.8%から56.4%に検証されたSWE-bench上のQwen3.5-9Bを14.6ポイントの絶対ゲインに改善した。 エージェントRLの再現可能な研究を容易にするために、ワークフローとトレーニングスクリプトの完全版をリリースする。

関連論文リスト

• LEGO-RL: Harness-Native Reinforcement Learning for Coding Agents [56.902747731541695]
  LEGO-RLは、ネイティブコーディングエージェントハーネスをスケーラブルなポリシ-グラディエント最適化でブリッジするフレームワークです。 我々は、3つのネイティブコーディングエージェントハーネスにまたがるGSPOを用いて、疎いMoEモデルQwen3.5-35B-A3BをトレーニングすることでLEGO-RLを評価する。
  論文  参考訳（メタデータ） (2026-08-18T05:34:35Z)
• Efficient Agentic Reinforcement Learning with On-Policy Intrinsic Knowledge Boundary Enhancement [16.192937389387982]
  モデル固有の知識境界を動的に探索するオンライン手法であるAKBE(Agentic Knowledge boundary Enhancement)を提案する。 7つのQAベンチマークの実験では、AKBEはタスクの精度を平均で+1.85改善し、標準のエージェントRLよりも18%向上した。
  論文  参考訳（メタデータ） (2026-05-26T12:42:23Z)
• Agent^2 RL-Bench: Can LLM Agents Engineer Agentic RL Post-Training? [23.212983812736343]
  Agent2 RL-BenchはエージェントRLのポストトレーニングを評価するためのベンチマークである。 固定予算下では,教師付きパイプラインがエージェント駆動のポストトレーニングを支配していることがわかった。
  論文  参考訳（メタデータ） (2026-04-12T09:35:27Z)
• RetroAgent: From Solving to Evolving via Retrospective Dual Intrinsic Feedback [54.39884046754265]
  RetroAgentは、エージェントが複雑なインタラクティブ環境をマスターできるオンラインRLフレームワークである。 実験の結果,RetroAgentはSOTA(State-of-the-art)の性能を達成できた。
  論文  参考訳（メタデータ） (2026-03-09T16:23:33Z)
• Just-In-Time Reinforcement Learning: Continual Learning in LLM Agents Without Gradient Updates [53.3717573880076]
  JitRL(Just-In-Time Reinforcement Learning、ジャスト・イン・タイム強化学習)は、テスト時間ポリシーの最適化を可能にするトレーニング不要のフレームワークである。 JitRLは、経験の動的で非パラメトリックな記憶を維持し、関連する軌跡を取得して、オンザフライでのアクションの利点を推定する。 WebArenaとJerrichoの実験では、JitRLがトレーニング不要メソッドの間に新しい最先端技術を確立していることが示されている。
  論文  参考訳（メタデータ） (2026-01-26T14:16:51Z)
• AgentRL: Scaling Agentic Reinforcement Learning with a Multi-Turn, Multi-Task Framework [76.96794548655292]
  大規模言語モデル(LLM)は、オンラインインタラクションを通じて学習できる汎用エージェントの構築への関心が高まっている。 マルチターンでLLMエージェントをトレーニングするために強化学習(RL)を適用することで、スケーラブルなインフラストラクチャと安定したトレーニングアルゴリズムが欠如しているため、マルチタスク設定は依然として困難である。 本稿では、スケーラブルなマルチターンマルチタスクエージェントRLトレーニングのためのAgentRLフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-05T13:40:01Z)
• rStar2-Agent: Agentic Reasoning Technical Report [25.266747156205266]
  rStar2-Agentは、エージェント強化学習を用いて訓練された14Bの数学推論モデルであり、フロンティアレベルの性能を実現する。 この目的のために、rStar2-Agentはトレーニング済みの14Bモデルを1週間以内に510RLのステップで最先端に引き上げ、平均パス@1スコアはAIME24で80.6%、AIME25で69.8%となる。
  論文  参考訳（メタデータ） (2025-08-28T12:45:25Z)
• Agent Lightning: Train ANY AI Agents with Reinforcement Learning [24.13422767414729]
  我々は,任意のAIエージェントに対して,強化学習(RL)に基づくLarge Language Models(LLM)のトレーニングを可能にするフレームワークであるAgens Lightningを提案する。 エージェント実行をマルコフ決定プロセスとして定式化することにより、統一データインターフェースを定義し、クレジット代入モジュールを含む階層的RLアルゴリズムLightningRLを提案する。 システム設計のために、トレーニング・エージェント・デアグリゲーションアーキテクチャを導入し、エージェント・オブザーバビリティ・フレームワークをエージェント・ランタイムに導入する。
  論文  参考訳（メタデータ） (2025-08-05T17:50:13Z)
• RAGEN: Understanding Self-Evolution in LLM Agents via Multi-Turn Reinforcement Learning [125.96848846966087]
  対話型エージェントとしての大規模言語モデル(LLM)のトレーニングには,ユニークな課題がある。 強化学習は静的タスクの進行を可能にする一方で、マルチターンエージェントRLトレーニングは未探索のままである。 本稿では、軌道レベルのエージェントRLのための一般的なフレームワークであるStarPOを提案し、LLMエージェントのトレーニングと評価のためのモジュールシステムであるRAGENを紹介する。
  論文  参考訳（メタデータ） (2025-04-24T17:57:08Z)
• Knowledge Graph Reasoning with Self-supervised Reinforcement Learning [30.359557545737747]
  本稿では,RLトレーニング前の政策ネットワークを温めるための自己指導型事前学習手法を提案する。 教師付き学習段階において、エージェントはポリシーネットワークに基づいて行動を選択し、生成されたラベルから学習する。 我々のSSRLモデルは、すべてのHits@kおよび平均相互ランク(MRR)メトリクスにおいて、現在の最先端結果と一致または超えていることを示す。
  論文  参考訳（メタデータ） (2024-05-22T13:39:33Z)
• Mastering the Unsupervised Reinforcement Learning Benchmark from Pixels [112.63440666617494]
  強化学習アルゴリズムは成功するが、エージェントと環境の間の大量の相互作用を必要とする。 本稿では,教師なしモデルベースRLを用いてエージェントを事前学習する手法を提案する。 我々はReal-Word RLベンチマークにおいて、適応中の環境摂動に対する抵抗性を示唆し、堅牢な性能を示す。
  論文  参考訳（メタデータ） (2022-09-24T14:22:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。