論文の概要: QwenGyre: An Elastic Reinforcement Learning Framework for Training xLong-Horizon Agents

• arxiv url: http://arxiv.org/abs/2609.33848v1
• Date: Sun, 27 Sep 2026 19:02:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-04 16:18:11.355472
• Title: QwenGyre: An Elastic Reinforcement Learning Framework for Training xLong-Horizon Agents
• Title（参考訳）: QwenGyre: xLong-Horizonエージェントをトレーニングするための弾性強化学習フレームワーク
• Abstract要約: 大規模言語モデル(LLM)エージェントは、ますます極端に長い(xlong)水平タスクをこなす。 オンライン強化学習(RL)をこのような実行に適用することは、2つの根本的な課題をもたらす。 我々は、xlong-horizon online RLのエンドツーエンドフレームワークであるQwenGyreを紹介する。
• 参考スコア（独自算出の注目度）: 28.18450865655772
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language model (LLM) agents increasingly undertake extreme-long (xlong) horizon tasks, where a single execution can span hours, hundreds of model--environment interactions, and nearly 1M tokens per rollout. Applying online reinforcement learning (RL) to such executions poses two fundamental challenges: (1) severe execution variance and prolonged rollout delays cause massive GPU idling; and (2) complex non-linear branching generates massive trajectory redundancy, crippling training efficiency. To address these, we presents QwenGyre, an end-to-end framework for xlong-horizon online RL. QwenGyre elastically reallocates GPUs between rollout and training without interrupting live executions, while its trajectory processor reconstructs branching histories, scores partial progress, and deduplicates redundant paths to bound training costs. Scaled to our flagship model, Qwen~3.8 2.4T, with 700K tokens per rollout, QwenGyre yields a 6.0% absolute gain on NL2RepoBench (52.5% $\to$ 58.5%) in 48 steps. Across our evaluations on diverse domains of training datasets, QwenGyre delivers up to $1.85\times$ and $1.78\times$ speedups over Colocate and Async, respectively.
• Abstract（参考訳）: 大きな言語モデル(LLM)エージェントは、時間、数百のモデル環境相互作用、ロールアウト毎の100万近いトークンを含む、極端に長い(xlong)水平タスクを実行している。 オンライン強化学習(RL)をこのような実行に適用すると、(1)厳密な実行分散と長期のロールアウト遅延がGPUアイドリングを引き起こす。 これらの問題に対処するため、xlong-horizon online RLのエンドツーエンドフレームワークであるQwenGyreを紹介した。 QwenGyreはライブ実行を中断することなく、ロールアウトとトレーニングの間にGPUを弾性的に再配置する。 QwenGyreは、当社のフラッグシップモデルであるQwen~3.8 2.4Tにロールアウト当たり700Kトークンでスケールし、48ステップでNL2RepoBench(52.5%$\to$58.5%)に対して6.0%の絶対利得を得る。 トレーニングデータセットのさまざまな領域に関する評価の中で、QwenGyreは最大で1.85\times$と1.78\times$をColocateとAsyncよりも高速に提供します。

関連論文リスト

• LongStraw: Long-Context RL Beyond 2M Tokens under a Fixed GPU Budget [23.770886960293286]
  LongStrawは、GPU予算を固定した100万のRLポストトレーニングのための、客観的かつアーキテクチャを意識したシステムである。 Qwen3.6-27Bでは、LongStrawはコンパクトなGDN状態、CP8シャーディングKVページ、正確なアテンション合成、リバースブロック再生を組み合わせた。 GLM-5.2では、CPU常駐のMLA/DSA状態、IndexShare対応の選択、CP32/EP32上のネイティブトップ8 MoEリプレイを組み合わせた。
  論文  参考訳（メタデータ） (2026-07-16T13:00:32Z)
• TRACE: Turn-level Reward Assignment via Credit Estimation for Long-Horizon Agents [51.523913302114266]
  TRACE(Turn-level Reward Assignment via Credit Estimation)は、エージェント強化学習のための高密度クレジットアサインメント手法である。 ツールコール境界における状態遷移としてロールアウトを表現し、凍結参照モデルからゴールド・アンサー・ログ確率を取得し、それらをログ比の状態値に変換し、それらの値の時間差変化としてアクション毎の報酬を導出する。 純粋なRLを用いたベースモデルツール使用能力を大幅に向上させ、冷間開始制御された微調整ステージ、エージェント訓練ステージ、ライブWebデータによるトレーニングを不要とした。
  論文  参考訳（メタデータ） (2026-07-15T16:16:42Z)
• AsyncWebRL: Efficient Multi-Step RL for Visual Web Agents [41.23725821297827]
  マルチステップRLを用いた視覚言語Webエージェントのトレーニングは計算集約的である。 本稿では、同期RLにおけるアイドルGPUに対処するAsyncWebRLと、必要以上に多くのステップとトークンを使用するトラジェクトリを提案する。
  論文  参考訳（メタデータ） (2026-06-04T02:18:44Z)
• SortedRL: Accelerating RL Training for LLMs through Online Length-Aware Scheduling [54.276306194000405]
  SortedRLを提案する。SortedRLは、強化学習をスケールするためのオンライン長対応スケジューリング戦略である。 SortedRLは、出力長に基づいてロールアウトサンプルをリオーダーし、短いサンプルが早期更新のためにグループを形成することを優先順位付けする。 LLaMA-3.1-8BとQwen-2.5-32Bを論理パズルを含む様々なタスクで実験した結果、SortedRLはRLトレーニングバブル比を50%以上削減することが示された。
  論文  参考訳（メタデータ） (2026-03-24T16:48:31Z)
• RollArt: Scaling Agentic RL Training via Disaggregated Infrastructure [49.88201789074532]
  エージェント強化学習(RL)は、大規模言語モデル(LLM)が自律的な意思決定と長期計画を行うことを可能にする。 分散インフラストラクチャ上でマルチタスクエージェントRLのスループットを最大化する分散システムであるRollArcを提案する。
  論文  参考訳（メタデータ） (2025-12-27T11:14:23Z)
• Efficient Multi-turn RL for GUI Agents via Decoupled Training and Adaptive Data Curation [65.3648667980258]
  視覚言語モデル(VLM)に基づくGUIエージェントは複雑なタスクの自動化を約束するが、強化学習(RL)の適用において大きな課題に直面している。 異種モジュールを高度に非結合的に協調するGUIエージェントのための非結合エージェントRLトレーニングフレームワークであるDARTを提案する。 OSWorldのベンチマークでは、DART-GUI-7Bは42.13%のタスク成功率、14.61%の絶対ゲイン、オープンソースSOTAよりも7.34%高い。
  論文  参考訳（メタデータ） (2025-09-28T13:19:20Z)
• UI-S1: Advancing GUI Automation via Semi-online Reinforcement Learning [78.86567400365392]
  オフライン軌道上でオンラインRLをシミュレートする新しいパラダイムであるセミオンライン強化学習を提案する。 長期トレーニング信号をキャプチャするために、Semi-online RLは報酬計算に割引先を返す。 実験の結果,Semi-online RLは4つの動的ベンチマークで7Bモデル間でSOTA性能を実現することがわかった。
  論文  参考訳（メタデータ） (2025-09-15T03:24:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。