論文の概要: AReaL: A Large-Scale Asynchronous Reinforcement Learning System for Language Reasoning

• arxiv url: http://arxiv.org/abs/2505.24298v2
• Date: Wed, 04 Jun 2025 11:42:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 13:54:39.481895
• Title: AReaL: A Large-Scale Asynchronous Reinforcement Learning System for Language Reasoning
• Title（参考訳）: AReaL: 言語推論のための大規模非同期強化学習システム
• Authors: Wei Fu, Jiaxuan Gao, Xujie Shen, Chen Zhu, Zhiyu Mei, Chuyi He, Shusheng Xu, Guo Wei, Jun Mei, Jiashu Wang, Tongkai Yang, Binhang Yuan, Yi Wu,
• Abstract要約: 強化学習(RL)は、大規模言語モデル(LLM)の訓練において支配的なパラダイムとなっている。 本稿では,完全非同期RLシステムであるAReaLについて述べる。
• 参考スコア（独自算出の注目度）: 26.103555014247117
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Reinforcement learning (RL) has become a dominant paradigm for training large language models (LLMs), particularly for reasoning tasks. Effective RL for LLMs requires massive parallelization and poses an urgent need for efficient training systems. Most existing large-scale RL systems for LLMs are synchronous, alternating generation and training in a batch setting where rollouts in each training batch are generated by the same model. This approach stabilizes RL training but suffers from severe system-level inefficiency: generation must wait until the longest output in the batch is completed before model updates, resulting in GPU underutilization. We present AReaL, a fully asynchronous RL system that completely decouples generation from training. Rollout workers in AReaL continuously generate new outputs without waiting, while training workers update the model whenever a batch of data is collected. AReaL also incorporates a collection of system-level optimizations, leading to substantially higher GPU utilization. To stabilize RL training, AReaL balances the workload of rollout and training workers to control data staleness, and adopts a staleness-enhanced PPO variant to better handle outdated training samples. Extensive experiments on math and code reasoning benchmarks show that AReaL achieves up to 2.77$\times$ training speedup compared to synchronous systems with the same number of GPUs and matched or improved final performance. The code of AReaL is available at https://github.com/inclusionAI/AReaL/.
• Abstract（参考訳）: 強化学習(RL)は大規模言語モデル(LLM)、特に推論タスクの訓練において支配的なパラダイムとなっている。 LLMの効果的なRLは大規模な並列化を必要とし、効率的な訓練システムを必要とする。 LLMのための既存の大規模RLシステムは同期型であり、各トレーニングバッチにおけるロールアウトを同じモデルで生成するバッチ設定において、同期、交互に生成、およびトレーニングを行う。 このアプローチはRLトレーニングを安定化するが、システムレベルの深刻な非効率に悩まされる: 生成は、モデル更新の前にバッチ内の最長出力が完了するまで待たなければならない。 本稿では,完全非同期RLシステムであるAReaLについて述べる。 AReaLのロールアウトワーカーは待機せずに新しいアウトプットを生成し、トレーニングワーカーはデータのバッチが収集されるたびにモデルを更新する。 AReaLはまた、システムレベルの最適化のコレクションも組み込まれており、GPU使用率が大幅に向上している。 RLトレーニングの安定化のために、AReaLはロールアウトとトレーニングワーカーの作業負荷のバランスを保ち、データの不安定性を制御するとともに、旧式なトレーニングサンプルの処理を改善するために、旧式なPPO変異を採用した。 数学とコード推論ベンチマークに関する大規模な実験は、AReaLが同じ数のGPUを持つ同期システムと比較して最大2.77$\times$トレーニングのスピードアップを達成し、最終性能が一致または改善されたことを示している。 AReaLのコードはhttps://github.com/inclusionAI/AReaL/で公開されている。

関連論文リスト

• StreamRL: Scalable, Heterogeneous, and Elastic RL for LLMs with Disaggregated Stream Generation [55.75008325187133]
  強化学習(RL)は,大規模言語モデル(LLM)の学習後のコアとなる。 StreamRLは、最初の原則から分離して、2種類のパフォーマンスボトルネックに対処するように設計されている。 実験により、StreamRLは既存の最先端システムと比較してスループットを最大2.66倍改善することが示された。
  論文  参考訳（メタデータ） (2025-04-22T14:19:06Z)
• Trajectory Balance with Asynchrony: Decoupling Exploration and Learning for Fast, Scalable LLM Post-Training [71.16258800411696]
  強化学習(Reinforcement Learning, RL)は、大規模言語モデル(LLM)のポストトレーニングにおいて重要な要素である。 ポストトレーニングに使われている既存のオンラインアルゴリズムは、経験的リプレイバッファの使用と本質的に相容れない。 本稿では,TBA(Trajectory Balance with Asynchrony)によるバッファの再生を効率よく行うことを提案する。
  論文  参考訳（メタデータ） (2025-03-24T17:51:39Z)
• AutoHete: An Automatic and Efficient Heterogeneous Training System for LLMs [68.99086112477565]
  トランスフォーマーベースの大規模言語モデル(LLM)は、シーケンスモデリングやテキスト生成において例外的な機能を示した。 既存の異種トレーニング手法は、トレーニング可能なモデルの規模を大幅に拡大するが、かなりの通信オーバーヘッドとCPUワークロードを導入している。 本稿では,シングルGPU環境とマルチGPU環境の両方に互換性のある,自動的で効率的なヘテロジニアストレーニングシステムであるAutoHeteを提案する。
  論文  参考訳（メタデータ） (2025-02-27T14:46:22Z)
• Asynchronous RLHF: Faster and More Efficient Off-Policy RL for Language Models [11.624678008637623]
  RLHFにおける生成と学習の分離を提案する。 オンラインDPOは、政治以外のデータに対して最も堅牢である。 非同期トレーニングは、オンラインだが非政治的なRLHFという未調査の制度に依存している。
  論文  参考訳（メタデータ） (2024-10-23T19:59:50Z)
• OmniBal: Towards Fast Instruction-Tuning for Vision-Language Models via Omniverse Computation Balance [65.48009829137824]
  視覚言語命令チューニングモデルにおける大規模3D並列トレーニングは、異なるデバイス間で不均衡な計算負荷をもたらす。 我々は、データ、モデル、メモリの観点から計算負荷を再均衡させ、デバイス間でよりバランスのとれた計算を実現する。 提案手法の有効性と一般化性は,様々なモデルやデータセットにまたがってさらに検証される。
  論文  参考訳（メタデータ） (2024-07-30T12:02:58Z)
• ReaL: Efficient RLHF Training of Large Language Models with Parameter Reallocation [12.321332446941378]
  Reinforcement Learning from Human Feedback (RLHF)は、大規模言語モデル(LLM)アプリケーションを強化するための重要なテクニックである。 効率的なRLHFトレーニングのための先駆的システムであるReaLを紹介する。 最大700億のパラメータと128のGPUを持つLLaMAモデル上でReaLを評価する。
  論文  参考訳（メタデータ） (2024-06-20T08:04:07Z)
• Spreeze: High-Throughput Parallel Reinforcement Learning Framework [19.3019166138232]
  Spreezeは強化学習のための軽量並列フレームワークである。 単一のデスクトップハードウェアリソースを効率よく利用し、スループット制限にアプローチする。 最大15,000Hzのサンプリングと370,000Hzのネットワーク更新フレームレートを達成することができる。
  論文  参考訳（メタデータ） (2023-12-11T05:25:01Z)
• Language Reward Modulation for Pretraining Reinforcement Learning [61.76572261146311]
  本稿では,強化学習のための事前学習信号としてLRFの機能を活用することを提案する。 我々の VLM プレトレーニングアプローチは,従来の LRF の使い方とは違い,ロボット操作タスクにおけるサンプル効率の学習を温めることができる。
  論文  参考訳（メタデータ） (2023-08-23T17:37:51Z)
• Text Generation with Efficient (Soft) Q-Learning [91.47743595382758]
  強化学習(RL)は、任意のタスクメトリクスを報酬としてプラグインすることで、より柔軟なソリューションを提供する。 ソフトQ-ラーニングの観点からテキスト生成のための新しいRL式を導入する。 雑音/負の例から学習し、敵攻撃、即時生成など、幅広いタスクにアプローチを適用する。
  論文  参考訳（メタデータ） (2021-06-14T18:48:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。