論文の概要: A Production-Grade, High-Efficiency Agentic RL Framework for Frontier LLMs with Validated Recipes

• arxiv url: http://arxiv.org/abs/2610.16352v1
• Date: Mon, 12 Oct 2026 08:08:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-19 06:18:13.412772
• Title: A Production-Grade, High-Efficiency Agentic RL Framework for Frontier LLMs with Validated Recipes
• Title（参考訳）: 有効条件付きフロンティアLCMのための生産グレード高効率エージェントRLフレームワーク
• Abstract要約: エージェントネイティブで完全に非同期なRLフレームワークであるLoongSageについて紹介する。 LoongSageは単一のコントローラプロセス内でオーケストレーションを集中化し、すべてのGPU常駐コンポーネントをRayctorとしてカプセル化する。 AgentFlowは、ホワイトボックスとブラックボックスの両方をオーケストレーションする統一実行パラダイムである。
• 参考スコア（独自算出の注目度）: 29.589044887555517
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning (RL) has emerged as a critical phase in the post-training pipeline of large language models (LLMs). As the frontier of LLM capabilities shifts from static reasoning to agentic tasks--characterized by external tool invocation, multi-turn interactions, and long-horizon decision-making--existing mainstream RL frameworks have grown increasingly unwieldy, raising the overhead of adoption, usage, and debugging. To address these challenges, we present LoongSage, an agent-native, fully asynchronous RL framework with a lightweight core of roughly 14K lines of code. Built upon Megatron for distributed training and SGLang for high-throughput inference, LoongSage centralizes orchestration within a single controller process and encapsulates all GPU-resident components as Ray actors. It introduces AgentFlow, a unified execution paradigm that orchestrates both white-box and black-box agents. For asynchronous execution, it integrates sliding-window strategies that bound trajectory staleness, and employs TransferMesh, a topology-aware synchronization mechanism that routes weights after each step over the fastest transport available to each receiver. Beyond agentic RL, LoongSage incorporates a memory-efficient Teacher Manager that decouples the scaling of teacher models from GPU memory constraints, natively supporting Multi-Teacher On-Policy Distillation. Extensive evaluations across four complete training runs, spanning complex reinforcement learning and multi-teacher distillation, demonstrate that task rewards improve steadily while the train-inference gap is kept under continuous control, and the fully asynchronous pipeline removes synchronous idle bubbles, sustaining hardware utilization.
• Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は、大規模言語モデル(LLM)の訓練後のパイプラインにおいて、重要なフェーズとして登場した。 LLM機能のフロンティアが静的推論からエージェントタスクへとシフトするにつれ、外部ツールの呼び出し、マルチターンインタラクション、長期的意思決定などによって特徴付けられるようになり、既存の主流のRLフレームワークはますます不安定になり、採用、使用、デバッグのオーバーヘッドが増大しています。 これらの課題に対処するため,約14K行の軽量コアを備えた,エージェントネイティブで完全に非同期なRLフレームワークであるLoongSageを紹介した。 分散トレーニングのためのMegatronと高スループット推論のためのSGLangをベースとして、LoongSageは単一のコントローラプロセス内でオーケストレーションを集中化し、すべてのGPU常駐コンポーネントをRayアクターとしてカプセル化する。 AgentFlowは、ホワイトボックスとブラックボックスの両方をオーケストレーションする統一実行パラダイムである。 非同期実行では、軌道の安定化を束縛するスライドウインドウ戦略を統合し、各ステップの後に各レシーバで利用可能な最速のトランスポートにウェイトをルーティングするトポロジ対応同期メカニズムであるTransferMeshを使用している。 エージェントRL以外にも、LongSageには、GPUメモリ制約から教師モデルのスケーリングを分離するメモリ効率の高いTeacher Managerが組み込まれており、マルチTeacher On-Policy Distillationをネイティブにサポートする。 複雑な強化学習とマルチティーチンガー蒸留にまたがる4つの総合的なトレーニング実行の評価は、列車の干渉ギャップを連続的に制御しながらタスク報酬が着実に改善され、完全非同期パイプラインは同期アイドルバブルを除去し、ハードウェア利用を継続することを示した。

関連論文リスト

• MCP-Universe RL: A Framework for Training MCP Tool-Use Agents via Reinforcement Learning [54.082979654934]
  強化学習(RL)は,大規模言語モデル(LLM)のツール利用能力向上に有効な方法となっている。 既存のRLフレームワークのほとんどは、ポリシー更新で停止する。 オープンソースフレームワークであるMCP-Universe RL(MCP-U RL)について述べる。
  論文  参考訳（メタデータ） (2026-08-23T01:49:04Z)
• AstraFlow: Dataflow-Oriented Reinforcement Learning for Agentic LLMs [57.86040075371121]
  強化学習(Reinforcement Learning, RL)は、大規模言語モデルの推論、コーディング、ツール使用能力の向上にますます利用されている。 エージェントRLは違法に高価である。 本稿では,従来のトレーナー中心制御を原則的コンポーネント抽象化に置き換えるデータフロー指向RLシステムであるAstraFlowを提案する。
  論文  参考訳（メタデータ） (2026-05-15T03:13:35Z)
• RollArt: Scaling Agentic RL Training via Disaggregated Infrastructure [49.88201789074532]
  エージェント強化学習(RL)は、大規模言語モデル(LLM)が自律的な意思決定と長期計画を行うことを可能にする。 分散インフラストラクチャ上でマルチタスクエージェントRLのスループットを最大化する分散システムであるRollArcを提案する。
  論文  参考訳（メタデータ） (2025-12-27T11:14:23Z)
• Laminar: A Scalable Asynchronous RL Post-Training Framework [20.127034898123508]
  RL軌道生成における長い尾の歪みは、重いGPU不使用を引き起こす。 現在のRLシステムはアクターとロールアウト間のグローバルな重量同期に依存しており、厳密なモデル更新スケジュールを生成する。 完全に分離されたアーキテクチャ上に構築されたスケーラブルで堅牢なRLポストトレーニングシステムであるLaminarを提案する。
  論文  参考訳（メタデータ） (2025-10-14T15:29:14Z)
• Part II: ROLL Flash -- Accelerating RLVR and Agentic Training with Asynchrony [78.70328630805041]
  ROLL Flashは、ROLLを拡張し、非同期RLポストトレーニングをネイティブにサポートするシステムである。 ROLL Flashは同期RLポストトレーニングよりもリソース利用とスケーラビリティを著しく向上させることを示す。
  論文  参考訳（メタデータ） (2025-10-13T12:41:27Z)
• EARL: Efficient Agentic Reinforcement Learning Systems for Large Language Models [10.372430331898608]
  強化学習(RL)は,大規模言語モデル(LLM)のポストトレーニングにおいて重要な要素となっている。 本稿では,効率的なエージェントRLのためのスケーラブルなシステムEARLを提案する。
  論文  参考訳（メタデータ） (2025-10-07T13:52:51Z)
• AgentRL: Scaling Agentic Reinforcement Learning with a Multi-Turn, Multi-Task Framework [76.96794548655292]
  大規模言語モデル(LLM)は、オンラインインタラクションを通じて学習できる汎用エージェントの構築への関心が高まっている。 マルチターンでLLMエージェントをトレーニングするために強化学習(RL)を適用することで、スケーラブルなインフラストラクチャと安定したトレーニングアルゴリズムが欠如しているため、マルチタスク設定は依然として困難である。 本稿では、スケーラブルなマルチターンマルチタスクエージェントRLトレーニングのためのAgentRLフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-05T13:40:01Z)
• AsyncFlow: An Asynchronous Streaming RL Framework for Efficient LLM Post-Training [24.60677187852425]
  強化学習(RL)は、大規模言語モデル(LLM)の訓練後の段階において重要な技術となっている。 従来のタスクコロケーションのRLフレームワークは、大きなスケーラビリティのボトルネックに悩まされている。 タスク分離RLフレームワークは、複雑なデータフローとそれに対応するリソースアイドリングとワークロードの不均衡の課題に直面します。 本稿では,非同期ストリーミングRLフレームワークであるAsyncFlowを提案する。
  論文  参考訳（メタデータ） (2025-07-02T12:45:34Z)
• StreamRL: Scalable, Heterogeneous, and Elastic RL for LLMs with Disaggregated Stream Generation [55.75008325187133]
  強化学習(RL)は,大規模言語モデル(LLM)の学習後のコアとなる。 StreamRLは、最初の原則から分離して、2種類のパフォーマンスボトルネックに対処するように設計されている。 実験により、StreamRLは既存の最先端システムと比較してスループットを最大2.66倍改善することが示された。
  論文  参考訳（メタデータ） (2025-04-22T14:19:06Z)
• Efficient Parallel Reinforcement Learning Framework using the Reactor Model [2.190190313041532]
  強化学習(RL)フレームワークは、RLワークロードを複数の計算リソースにマッピングするために不可欠である。 Rayのような既存のフレームワークは、このオーケストレーションを効率的に管理していない。 我々は,アクターの集合が固定的な通信パターンを持つように強制するリアクターモデルを実装するソリューションを提案している。
  論文  参考訳（メタデータ） (2023-12-07T21:19:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。