論文の概要: Li$^{2}$SAO: Lifting Light Single-Rollout Asynchronous RL Optimization via Group-Relative Actor-Critic Bootstrapping

• arxiv url: http://arxiv.org/abs/2610.40726v2
• Date: Mon, 02 Nov 2026 03:52:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-04 02:41:45.018996
• Title: Li$^{2}$SAO: Lifting Light Single-Rollout Asynchronous RL Optimization via Group-Relative Actor-Critic Bootstrapping
• Title（参考訳）: Li$^{2}$SAO: Group-Relative Actor-Critic Bootstrappingによる軽量シングルロールアウト非同期RL最適化
• Abstract要約: 我々は、単ターン推論および多ターンエージェントタスクに基づいて、事前訓練された値モデルなしでSAOを軽量に再現するGRPOとLiSAOを解析する。 GRPOは推論タスクでLiSAOより優れており、逆はエージェントタスクで優れています。 実験によると、Li$2$SAOは初期のトレーニングでGRPOに追いつくか超え、その後のパフォーマンスの天井をさらに高める。
• 参考スコア（独自算出の注目度）: 37.56016794715746
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Asynchronous reinforcement learning (RL) is becoming a mainstream paradigm for post-training large language models (LLMs), as it improves training efficiency by updating the model as rollouts arrive. Recent work argues that group-wise sampling in GRPO does not naturally fit asynchronous RL training because rollout lengths follow a long-tailed distribution, and proposes Single-rollout Asynchronous Optimization (SAO) to improve stability and off-policy behavior, especially on agentic tasks. However, SAO relies on a closed-source value model obtained from scaling value pretraining. In this paper, we analyze GRPO and LiSAO, our lightweight reproduction of SAO without the pretrained value model, on single-turn reasoning and multi-turn agentic tasks. We find that GRPO outperforms LiSAO on reasoning tasks, while the reverse holds on agentic tasks. Since the value model of LiSAO is not yet well trained , LiSAO lags behind GRPO substantially in early training steps. To address this issue, we propose Li$^{2}$SAO, which Lifts Light Single-rollout Asynchronous Optimization with group-relative actor-critic bootstrapping: while the critic is cold, a group-relative advantage trains the actor and a group-centered return trains the critic, after which training switches to single-rollout GAE. Experiments show that Li$^{2}$SAO catches up with or surpasses GRPO in early training and further raises the later performance ceiling. Code is available at https://github.com/jd-cc-coder/Li2SAO.
• Abstract（参考訳）: 自動強化学習(RL)は、ロールアウトが到着するにつれてモデルを更新することで、トレーニング効率を向上させるため、大規模言語モデル(LLM)のポストトレーニングにおける主流パラダイムになりつつある。 最近の研究は、GRPOにおけるグループワイドサンプリングは、ロールアウトの長さが長い分布に従うため、自然に非同期RLトレーニングに適合しないと主張しており、特にエージェントタスクにおいて、安定性と非政治的振る舞いを改善するためにシングルロールアウト非同期最適化(SAO)を提案する。 しかし、SAOはスケーリングの事前トレーニングから得られたクローズドソースの値モデルに依存している。 本稿では,単ターン推論および多ターンエージェントタスクにおいて,事前学習した値モデルなしでSAOを軽量に再現するGRPOとLiSAOを解析する。 GRPOは推論タスクでLiSAOより優れており、逆はエージェントタスクで優れています。 LiSAOの価値モデルはまだ十分に訓練されていないため、初期のトレーニングステップにおいて、LiSAOはGRPOに大きく遅れている。 この問題に対処するために、Li$^{2}$SAOを提案する。Lifts Light Single-rollout Asynchronous Optimization with group-relative actor-critic bootstrapping: 批判者は冷たくても、グループ-relative advantageはアクターを訓練し、グループ中心リターンは批評家を訓練し、訓練は単一ロールアウトGAEに切り替える。 実験の結果、Li$^{2}$SAOは初期のトレーニングでGRPOに追いつくか、超えるかを示し、その後のパフォーマンス天井をさらに高めている。 コードはhttps://github.com/jd-cc-coder/Li2SAOで入手できる。

関連論文リスト

• Single-Rollout Asynchronous Optimization for Agentic Reinforcement Learning [47.00572734047258]
  本稿では,非同期RLの安定性と非政治的課題に対処するため,単一ロールアウト非同期最適化(SAO)を提案する。 SAOはグループワイドサンプリングを単一ロールアウトサンプリングに置き換える。 SAOは、オープンなGLM-5.2モデルをトレーニングするために、エージェントRLパイプラインにうまくデプロイされる。
  論文  参考訳（メタデータ） (2026-07-08T15:02:19Z)
• Libra: Efficient Resource Management for Agentic RL Post-Training [11.701871372256205]
  強化学習(Reinforcement Learning, RL)は、大規模言語モデル(LLM)を有能なエージェントに変換するための訓練後の標準パラダイムとして登場した。 エージェントRLでは、ロールアウトステージはツールを呼び出しながら軌道を生成し、長い尾と静止しないワークロードを生成する。 両課題に対処するリソース管理システムLibraについて,2つのコアメカニズムを用いて紹介する。
  論文  参考訳（メタデータ） (2026-06-02T03:09:13Z)
• Learning to Reason as Action Abstractions with Scalable Mid-Training RL [55.24192942739207]
  効果的な中間訓練フェーズは、有用なアクションのコンパクトなセットを特定し、高速な選択を可能にする。 本稿では,スケーラブルなミッドトレーニングアルゴリズムであるReasoning as Action Abstractions (RA3)を提案する。
  論文  参考訳（メタデータ） (2025-09-30T05:34:20Z)
• Agentic Reinforcement Learning with Implicit Step Rewards [92.26560379363492]
  大規模言語モデル (LLMs) は強化学習 (agentic RL) を用いた自律的エージェントとして発展している。 我々は,標準RLアルゴリズムとシームレスに統合された一般的なクレジット割り当て戦略であるエージェントRL(iStar)について,暗黙的なステップ報酬を導入する。 我々は,WebShopとVisualSokobanを含む3つのエージェントベンチマークと,SOTOPIAにおける検証不可能な報酬とのオープンなソーシャルインタラクションについて評価した。
  論文  参考訳（メタデータ） (2025-09-23T16:15:42Z)
• SimpleVLA-RL: Scaling VLA Training via Reinforcement Learning [81.7764584515496]
  VLA(Vision-Language-Action)モデルは、ロボット操作の強力なパラダイムとして登場した。 これらのモデルは2つの根本的な課題に直面している。 VLAモデルに適した効率的な強化学習フレームワークであるSimpleVLA-RLを紹介する。
  論文  参考訳（メタデータ） (2025-09-11T17:59:17Z)
• AReaL: A Large-Scale Asynchronous Reinforcement Learning System for Language Reasoning [23.24949857136035]
  強化学習(RL)は、大規模言語モデル(LLM)の訓練において支配的なパラダイムとなっている。 本稿では,完全非同期RLシステムであるAReaLについて述べる。
  論文  参考訳（メタデータ） (2025-05-30T07:18:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。