論文の概要: Asynchronous Is Nearly Free for Evolution Strategies on Long-Horizon Agentic Tasks

• arxiv url: http://arxiv.org/abs/2610.04196v1
• Date: Sat, 03 Oct 2026 01:18:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-12 19:27:33.887379
• Title: Asynchronous Is Nearly Free for Evolution Strategies on Long-Horizon Agentic Tasks
• Title（参考訳）: Asynchronous is almostly free for Evolution Strategies on Long-Horizon Agentic Tasks
• Abstract要約: 進化戦略(ES)は、LLMポストトレーニングのバックプロパゲーションフリーな代替手段を提供する。 ESは、緩やかな政策の不安定さを限定的に許容する。 我々の知る限りでは、端末スタイルのエージェントコーディングタスクにおける同期と非同期ESの有効性を最初に示す。
• 参考スコア（独自算出の注目度）: 8.572241655978404
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM-based long-horizon agentic post-training is often bottlenecked by rollout generation: trajectories span many interaction turns, completion times vary substantially, and synchronous update barriers leave faster workers waiting for stragglers. Asynchronous reinforcement learning which has been adopted in LLM post-training addresses this inefficiency by consuming trajectories as they arrive, but introduces policy lag and off-policy optimization. Evolution strategies (ES) offer a backpropagation-free alternative for LLM post-training, yet it relies on a larger number of rollouts and existing practices have remained largely synchronous. In this short-form paper, we introduce bounded-staleness asynchronous ES and demonstrate it on Endless Terminals benchmark using Qwen2.5-7B-Instruct. Across three evaluation seeds, natural Async-1 matches synchronous ES, achieving 25.9\% versus 25.4\% held-out success. Controlled schedules that delay 10\% of each update cohort by four or eight policy updates reduce success by only 1.6 and 3.1 percentage points, respectively, without explicit off-policy correction. GRPO performs better overall, reaching 29.0\% held-out success, but importantly our results show that ES tolerates moderate policy staleness with limited degradation, opening possibilities for future improvement of ES-based post-training with asynchronous algorithms. To the best of our knowledge, we are the first to demonstrate the effectiveness of sync and async ES on a multi-turn terminal style agentic coding task.
• Abstract（参考訳）: LLMベースのロングホライゾンエージェントのポストトレーニングは、ロールアウト生成によってボトルネックとなることが多い: トラジェクトリは、多くのインタラクションターンにまたがり、完了時間が大幅に変化し、同期更新バリアは、より高速なワーカーがストラグラーを待つ。 LLMポストトレーニングで採用されている非同期強化学習は、到着時に軌道を消費することで、この非効率性に対処するが、政策遅延と非政治最適化を導入する。 進化戦略(ES)は、LLMポストトレーニングのバックプロパゲーションフリー代替手段を提供するが、多数のロールアウトに依存しており、既存のプラクティスは大部分が同期状態のままである。 本稿では,有界な非同期ESを導入し,Qwen2.5-7B-Instructを用いてEndless Terminalsベンチマークで実演する。 3つの評価種のうち、Natural Async-1は同期ESと一致し、25.9\%を達成、25.4\%を達成した。 コントロールされたスケジュールは、各更新の10%を4または8のポリシー更新で遅延させ、それぞれ1.6と3.1のパーセンテージで成功を減少させる。 GRPO は全体の性能が向上し,29.0 % のホールドアウト成功を達成したが,本研究の結果は,ES が中等度なポリシーの安定化を限定的な劣化で許容し,ES ベースの非同期アルゴリズムによるポストトレーニングの今後の改善の可能性を示している。 我々の知る限り、我々はマルチターン端末方式のエージェントコーディングタスクにおいて、同期と非同期ESの有効性を初めて示す。

関連論文リスト

• ThunderSyncRL: Lossless Acceleration of Agentic Reinforcement Learning [21.02743214738046]
  非同期トレーニングは、ロールアウトとアップデート間の学習を重複させるが、ポリシーの安定が犠牲になる。 我々はThunderSyncRLを導入し、必要な入力がすべて固定された時点で、ポリシーの安定化なしにグラデーション計算を開始する。 我々は、グラデーションストリーミングが、どちらの目的も変更することなく、バッチ同期トレーニングと同じGRPOとOPD更新を生成することを証明した。
  論文  参考訳（メタデータ） (2026-10-05T07:51:46Z)
• Stable and Efficient Real-World Online VLA Post-Training via Asynchronous Replay-Anchored Policy Improvement [60.83624556700821]
  本稿では,リプレイ動作における批評家とアクターの更新の両方を基盤として,ロールアウトと学習を同時に行うフレームワークを提案する。 RAPolicyを4つのシングルタスク設定と1つのジョイント5タスク設定で実世界で評価し,オンライントレーニングの予算は1～2時間に過ぎなかった。
  論文  参考訳（メタデータ） (2026-09-19T08:45:18Z)
• Deconstructing Off-Policy Ratios: Entropy-Scaled Trust Regions for Asynchronous Reinforcement Learning [6.667218294299622]
  非同期強化学習(RL)は、ポリシー最適化と重複するロールアウト生成によって、大規模言語モデル(LLM)の訓練後を加速する。 既存の方法では、トークンの重要度のみに基づいてトークンを保管または廃棄するのが一般的である。 本研究では,各トークンの局所的なエントロピーによるオフ・ポリティクスの偏差を拡大するエントロピー・スケール・トラスト・リージョン(ESTR)を提案する。
  論文  参考訳（メタデータ） (2026-07-24T10:55:42Z)
• Single-Rollout Asynchronous Optimization for Agentic Reinforcement Learning [47.00572734047258]
  本稿では,非同期RLの安定性と非政治的課題に対処するため,単一ロールアウト非同期最適化(SAO)を提案する。 SAOはグループワイドサンプリングを単一ロールアウトサンプリングに置き換える。 SAOは、オープンなGLM-5.2モデルをトレーニングするために、エージェントRLパイプラインにうまくデプロイされる。
  論文  参考訳（メタデータ） (2026-07-08T15:02:19Z)
• Group-Graph Policy Optimization for Long-Horizon Agentic Reinforcement Learning [85.02566758103008]
  Group-Graph Policy Optimization (G2PO) は、マルチターンエージェントタスクに適したグループベースの強化学習アルゴリズムである。 G2POは最先端のプロンプトベースとRLベースラインを大幅に上回り、GRPOよりも最大22.2%の成功率の向上を達成した。
  論文  参考訳（メタデータ） (2026-06-22T08:12:47Z)
• Optimization Trade-offs in Asynchronous Federated Learning: A Stochastic Networks Approach [2.0200069355804264]
  非同期アルゴリズムは、到着時に更新を処理することで、更新スループットを向上する。 収束を低下させる勾配の安定化と、不均一なデータの下でより高速なクライアントへのバイアス。 我々は,クライアントとサーバのランダムな計算時間を共同でモデル化する汎用AsyncSGDのキューネットワークフレームワークを開発した。
  論文  参考訳（メタデータ） (2026-03-27T09:53:53Z)
• dTRPO: Trajectory Reduction in Policy Optimization of Diffusion Large Language Models [71.26391195427878]
  拡散大言語モデル(dLLM)は、言語生成の新しいパラダイムを導入する。 本研究は,軌道確率計算のコストを削減し,dLLMのポリシー最適化を改善することを目的とする。 我々は、7B dLLMのdTRPOを命令追従と推論のベンチマークで評価した。
  論文  参考訳（メタデータ） (2026-03-19T11:55:52Z)
• TempSamp-R1: Effective Temporal Sampling with Reinforcement Fine-Tuning for Video LLMs [67.55973229034319]
  本稿では,マルチモーダルな大規模言語モデル(MLLM)をビデオ時間的グラウンド処理に適応させることの有効性向上を目的とした,新しい強化微調整フレームワークであるTempSamp-R1を紹介する。 我々は、TempSamp-R1がGRPOベースのベースラインより優れており、ベンチマークデータセット上で新しい最先端のパフォーマンスを確立していることを示す。
  論文  参考訳（メタデータ） (2025-09-22T17:30:15Z)
• An Efficient Asynchronous Method for Integrating Evolutionary and Gradient-based Policy Search [76.73477450555046]
  本稿では、ESの並列効率を最大化し、ポリシー勾配法と統合する非同期進化戦略強化学習(AES-RL)を提案する。 具体的には、(1)ESとDRLを非同期にマージする新しいフレームワークを提案し、2)非同期、ES、DRLのすべての利点を利用できる様々な非同期更新方法を提案する。
  論文  参考訳（メタデータ） (2020-12-10T02:30:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。