論文の概要: RLBoost: Harvesting Preemptible Resources for Cost-Efficient Reinforcement Learning on LLMs

• arxiv url: http://arxiv.org/abs/2510.19225v2
• Date: Fri, 24 Oct 2025 14:49:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 09:00:15.234043
• Title: RLBoost: Harvesting Preemptible Resources for Cost-Efficient Reinforcement Learning on LLMs
• Title（参考訳）: RLBoost: LLMにおける費用効率の良い強化学習のためのプリエンプティブルリソースのハーベスティング
• Authors: Yongji Wu, Xueshen Liu, Haizhong Zheng, Juncheng Gu, Beidi Chen, Z. Morley Mao, Arvind Krishnamurthy, Ion Stoica,
• Abstract要約: RLBoostは、プリエンプティブルGPUリソースを抽出するコスト効率のよいRLトレーニングのための体系的なソリューションである。 RLBoostはトレーニングのスループットを1.51x-1.97x向上し、オンデマンドGPUリソースのみを使用する場合に比べてコスト効率は28%-49%向上した。
• 参考スコア（独自算出の注目度）: 48.94639777633359
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Reinforcement learning (RL) has become essential for unlocking advanced reasoning capabilities in large language models (LLMs). RL workflows involve interleaving rollout and training stages with fundamentally different resource requirements. Rollout typically dominates overall execution time, yet scales efficiently through multiple independent instances. In contrast, training requires tightly-coupled GPUs with full-mesh communication. Existing RL frameworks fall into two categories: co-located and disaggregated architectures. Co-located ones fail to address this resource tension by forcing both stages to share the same GPUs. Disaggregated architectures, without modifications of well-established RL algorithms, suffer from resource under-utilization. Meanwhile, preemptible GPU resources, i.e., spot instances on public clouds and spare capacity in production clusters, present significant cost-saving opportunities for accelerating RL workflows, if efficiently harvested for rollout. In this paper, we present RLBoost, a systematic solution for cost-efficient RL training that harvests preemptible GPU resources. Our key insight is that rollout's stateless and embarrassingly parallel nature aligns perfectly with preemptible and often fragmented resources. To efficiently utilize these resources despite frequent and unpredictable availability changes, RLBoost adopts a hybrid architecture with three key techniques: (1) adaptive rollout offload to dynamically adjust workloads on the reserved (on-demand) cluster, (2) pull-based weight transfer that quickly provisions newly available instances, and (3) token-level response collection and migration for efficient preemption handling and continuous load balancing. Extensive experiments show RLBoost increases training throughput by 1.51x-1.97x while improving cost efficiency by 28%-49% compared to using only on-demand GPU resources.
• Abstract（参考訳）: 強化学習(RL)は,大規模言語モデル(LLM)における高度な推論能力の解放に欠かせないものとなっている。 RLワークフローには、基本的に異なるリソース要件を持つロールアウトとトレーニングステージのインターリーブが含まれている。 ロールアウトは通常、実行時間全体を支配するが、複数の独立したインスタンスを通じて効率よくスケールする。 対照的に、トレーニングにはフルメッシュ通信を備えた密結合のGPUが必要である。 既存のRLフレームワークは2つのカテゴリに分類される。 両方のステージが同じGPUを共有するように強制することで、リソースの緊張に対処できない。 分散アーキテクチャは、確立されたRLアルゴリズムを変更することなく、リソースのアンダーユース化に悩まされる。 一方、プリエンプティブルなGPUリソース、すなわち、パブリッククラウド上のインスタンスとプロダクションクラスタの予備容量は、ロールアウトのために効率的に収穫された場合、RLワークフローを高速化するための大幅なコスト削減の機会を提供する。 本稿では,プリエンプティブルGPUリソースを抽出する費用効率の高いRLトレーニングのための体系的ソリューションであるRLBoostを提案する。 私たちのキーとなる洞察は、ロールアウトのステートレスで恥ずかしく平行な性質が、プリエンプティブルでしばしば断片化されたリソースと完全に一致していることです。 頻繁で予測不可能な可用性の変更にもかかわらず、これらのリソースを効率的に活用するために、RLBoostは、(1)予約された(オンデマンド)クラスタ上でワークロードを動的に調整するための適応的なロールアウトオフロード、(2)新しく利用可能なインスタンスを迅速にプロビジョニングするプルベースのウェイトトランスファー、(3)トークンレベルのレスポンスコレクションとマイグレーションによる効率的なプリエンプションハンドリングと継続的ロードバランシングの3つの重要なテクニックを備えたハイブリッドアーキテクチャを採用する。 大規模な実験により、RLBoostはトレーニングのスループットを1.51x-1.97x向上し、オンデマンドGPUリソースのみを使用する場合に比べてコスト効率は28%-49%向上した。

関連論文リスト

• QeRL: Beyond Efficiency -- Quantization-enhanced Reinforcement Learning for LLMs [80.76334908639745]
  大規模言語モデル(LLM)のための量子化強化学習フレームワークQeRLを提案する。 QeRLは、NVFP4量子化とローランド適応(LoRA)を組み合わせた問題に対処する。 実験によると、QeRLはロールアウトフェーズで1.5倍以上のスピードアップを実現している。
  論文  参考訳（メタデータ） (2025-10-13T17:55:09Z)
• History Rhymes: Accelerating LLM Reinforcement Learning with RhymeRL [14.506189610798929]
  強化学習(Reinforcement Learning, RL)は、大規模言語モデル(LLM)の推論能力を高めるための重要な方法論として登場した。 RhymeRLは、RLトレーニングを2つの重要なイノベーションで加速するLLM RLシステムである。 まず、ロールアウト生成を強化するために、投機的復号推論エンジンであるHistoSpecを紹介する。 第二に、ロールアウトバブルに取り組むために、2層スケジューリング戦略であるHistoPipeを紹介します。
  論文  参考訳（メタデータ） (2025-08-26T01:42:46Z)
• Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic Shuffle [65.14124923451077]
  強化学習(Reinforcement Learning, RL)は、マルチモーダル大言語モデル(MLLM)の推論能力を高めるための効果的なポストトレーニングパラダイムとして登場した。 しかしながら、現在のRLパイプラインは、アドバンテージ・コラプシング(Advantage Collapsing)とロールアウト・サイレンシング(Rollout Silencing)という2つの未解決の問題によって、トレーニングの非効率に悩まされることが多い。 軌道サンプリングとバッチ合成を動的に再構成することにより、RLの微調整効率を向上する、シンプルだが原則化されたフレームワークであるShuffle-R1を提案する。
  論文  参考訳（メタデータ） (2025-08-07T17:53:47Z)
• AReaL: A Large-Scale Asynchronous Reinforcement Learning System for Language Reasoning [23.24949857136035]
  強化学習(RL)は、大規模言語モデル(LLM)の訓練において支配的なパラダイムとなっている。 本稿では,完全非同期RLシステムであるAReaLについて述べる。
  論文  参考訳（メタデータ） (2025-05-30T07:18:25Z)
• StreamRL: Scalable, Heterogeneous, and Elastic RL for LLMs with Disaggregated Stream Generation [55.75008325187133]
  強化学習(RL)は,大規模言語モデル(LLM)の学習後のコアとなる。 StreamRLは、最初の原則から分離して、2種類のパフォーマンスボトルネックに対処するように設計されている。 実験により、StreamRLは既存の最先端システムと比較してスループットを最大2.66倍改善することが示された。
  論文  参考訳（メタデータ） (2025-04-22T14:19:06Z)
• SRL: Scaling Distributed Reinforcement Learning to Over Ten Thousand Cores [13.948640763797776]
  本稿では,RLトレーニングアプリケーションを汎用フレームワークに統合する,RLトレーニングのデータフローに関する新しい抽象化を提案する。 スケーラブルで効率的で分散的なRLシステムであるReaLly scalableRLを開発した。 SRLは15k以上のCPUコアでRL実験を大規模に実施した初めての学術コミュニティである。
  論文  参考訳（メタデータ） (2023-06-29T05:16:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。