論文の概要: Laminar: A Scalable Asynchronous RL Post-Training Framework

• arxiv url: http://arxiv.org/abs/2510.12633v1
• Date: Tue, 14 Oct 2025 15:29:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-15 19:02:32.372093
• Title: Laminar: A Scalable Asynchronous RL Post-Training Framework
• Title（参考訳）: Laminar: スケーラブルな非同期RLポストトレーニングフレームワーク
• Authors: Guangming Sheng, Yuxuan Tong, Borui Wan, Wang Zhang, Chaobo Jia, Xibin Wu, Yuqi Wu, Xiang Li, Chi Zhang, Yanghua Peng, Haibin Lin, Xin Liu, Chuan Wu,
• Abstract要約: RL軌道生成における長い尾の歪みは、重いGPU不使用を引き起こす。 現在のRLシステムはアクターとロールアウト間のグローバルな重量同期に依存しており、厳密なモデル更新スケジュールを生成する。 完全に分離されたアーキテクチャ上に構築されたスケーラブルで堅牢なRLポストトレーニングシステムであるLaminarを提案する。
• 参考スコア（独自算出の注目度）: 20.127034898123508
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning (RL) post-training for Large Language Models (LLMs) is now scaling to large clusters and running for extended durations to enhance model reasoning performance. However, the scalability of existing RL frameworks is limited, as extreme long-tail skewness in RL trajectory generation causes severe GPU underutilization. Current asynchronous RL systems attempt to mitigate this, but they rely on global weight synchronization between the actor and all rollouts, which creates a rigid model update schedule. This global synchronization is ill-suited for the highly skewed and evolving distribution of trajectory generation latency in RL training, crippling training efficiency. Our key insight is that efficient scaling requires breaking this lockstep through trajectory-level asynchrony, which generates and consumes each trajectory independently. We propose Laminar, a scalable and robust RL post-training system built on a fully decoupled architecture. First, we replace global updates with a tier of relay workers acting as a distributed parameter service. This enables asynchronous and fine-grained weight synchronization, allowing rollouts to pull the latest weight anytime without stalling the actor's training loop. Second, a dynamic repack mechanism consolidates long-tail trajectories onto a few dedicated rollouts, maximizing generation throughput. The fully decoupled design also isolates failures, ensuring robustness for long-running jobs. Our evaluation on a 1024-GPU cluster shows that Laminar achieves up to 5.48$\times$ training throughput speedup over state-of-the-art systems, while reducing model convergence time.
• Abstract（参考訳）: 大規模言語モデル(LLM)のための強化学習(RL)ポストトレーニングが,大規模クラスタへのスケールアップと,モデル推論のパフォーマンス向上のために,長期にわたって実行できるようになった。 しかし、既存のRLフレームワークのスケーラビリティは制限されている。 現在の非同期RLシステムは、これを緩和しようとするが、アクターとロールアウト間のグローバルな重量同期に依存しており、厳密なモデル更新スケジュールを生成する。 このグローバル同期は、RLトレーニングにおける軌道生成遅延の高度に歪んだ、そして進化した分布に不適であり、訓練効率を損なう。 私たちの重要な洞察は、効率的なスケーリングは、各トラジェクトリを独立して生成し、消費するトラジェクトリレベルの非同期を通じて、このロックステップを破ることが必要です。 完全に分離されたアーキテクチャ上に構築されたスケーラブルで堅牢なRLポストトレーニングシステムであるLaminarを提案する。 まず、グローバルアップデートを分散パラメータサービスとして機能するリレーワーカー層に置き換える。 これにより、非同期できめ細かなウェイト同期が可能になり、ロールアウトがアクターのトレーニングループを停止することなく、いつでも最新のウェイトをプルすることができる。 第二に、ダイナミックリパック機構は、長いテール軌道をいくつかの専用ロールアウトに集約し、生成スループットを最大化する。 完全に分離された設計は、障害を分離し、長時間稼働するジョブに対して堅牢性を確保する。 1024-GPUクラスタ上での評価では,モデル収束時間を短縮しつつ,最先端システムのスループットを最大5.48$\timesでトレーニングすることができる。

関連論文リスト

• Part II: ROLL Flash -- Accelerating RLVR and Agentic Training with Asynchrony [78.70328630805041]
  ROLL Flashは、ROLLを拡張し、非同期RLポストトレーニングをネイティブにサポートするシステムである。 ROLL Flashは同期RLポストトレーニングよりもリソース利用とスケーラビリティを著しく向上させることを示す。
  論文  参考訳（メタデータ） (2025-10-13T12:41:27Z)
• AReaL: A Large-Scale Asynchronous Reinforcement Learning System for Language Reasoning [23.24949857136035]
  強化学習(RL)は、大規模言語モデル(LLM)の訓練において支配的なパラダイムとなっている。 本稿では,完全非同期RLシステムであるAReaLについて述べる。
  論文  参考訳（メタデータ） (2025-05-30T07:18:25Z)
• LlamaRL: A Distributed Asynchronous Reinforcement Learning Framework for Efficient Large-scale LLM Training [32.575669924032276]
  強化学習(RL)は、大規模言語モデル(LLM)の能力向上のための訓練後の最も効果的なアプローチとなっている。 本稿では,LlamaRLについて述べる。LlamaRLは大規模LLMの効率的なトレーニングに最適化された,完全に分散された非同期RLフレームワークである。
  論文  参考訳（メタデータ） (2025-05-29T22:14:15Z)
• StreamRL: Scalable, Heterogeneous, and Elastic RL for LLMs with Disaggregated Stream Generation [55.75008325187133]
  強化学習(RL)は,大規模言語モデル(LLM)の学習後のコアとなる。 StreamRLは、最初の原則から分離して、2種類のパフォーマンスボトルネックに対処するように設計されている。 実験により、StreamRLは既存の最先端システムと比較してスループットを最大2.66倍改善することが示された。
  論文  参考訳（メタデータ） (2025-04-22T14:19:06Z)
• Echo Chamber: RL Post-training Amplifies Behaviors Learned in Pretraining [74.83412846804977]
  強化学習(RL)に基づく微調整は、訓練後の言語モデルにおいて重要なステップとなっている。 数理推論のためのRLファインタニングを、スクラッチから完全にトレーニングモデルを用いて体系的にエンドツーエンドに研究する。
  論文  参考訳（メタデータ） (2025-04-10T17:15:53Z)
• Scaling Offline Model-Based RL via Jointly-Optimized World-Action Model Pretraining [49.730897226510095]
  我々は,60億のトークンデータを持つアタリゲーム上で事前訓練されたオフラインモデルベースRLエージェントであるJOWA: Jointly-Reinforceed World-Action Modelを紹介する。 われわれの最大のエージェントは、1億5000万のパラメータを持ち、10%のサブサンプルオフラインデータだけで事前トレーニングされたゲーム上での人間レベルのパフォーマンス78.9%で、既存の最先端の大規模なオフラインRLベースラインを31.6%上回っている。
  論文  参考訳（メタデータ） (2024-10-01T10:25:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。