論文の概要: EBRL: Asynchronous Embodied RL by Multi-Grained Resource Management

• arxiv url: http://arxiv.org/abs/2609.27547v1
• Date: Wed, 23 Sep 2026 08:36:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:05:17.955462
• Title: EBRL: Asynchronous Embodied RL by Multi-Grained Resource Management
• Title（参考訳）: EBRL:多段階資源管理による非同期電子化RL
• Abstract要約: 身体強化学習(RL)は、環境シミュレーション、アクション生成、モデル更新のパイプラインでモデル機能を改善する。 最近のシステムは、効率のトレーニングを伴うロールアウト(シミュレーションと生成)と重なり合うが、ロールアウトにおける排他的GPUアロケーションと同期バリアは、依然としてかなりのハードウェアリソースを浪費している。 本稿では,2つのコア技術を用いた非同期RLトレーニングシステム EBRLを提案する。
• 参考スコア（独自算出の注目度）: 42.3681095527506
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Embodied reinforcement learning (RL) improves model capabilities with a pipeline of environment simulation, action generation, and model updates. These stages show heterogeneous CPU and GPU demands, making efficient resource utilization difficult. Recent systems overlap rollout (simulation and generation) with training for efficiency, but exclusive GPU allocation and synchronized barrier in rollout still leave substantial hardware resource waste. In this paper, we present EBRL, an asynchronous embodied RL training system with two core techniques. The asynchronous pipelined scheduler overlaps rollout and training, pipelines simulation and generation across environment groups, and carries out each environment independently, eliminating synchronization stalls. The fine-grained resource manager pools CPU cores and GPU streaming multiprocessors, and uses stage profiles and runtime feedback to adjust resource quotas and batch sizes to meet the shifting demands among stages. We implement EBRL on RLinf and evaluate it with four embodied policies and four simulation benchmarks across heterogeneous GPU testbeds. Experiments show that EBRL achieves 1.30-3.47 times the end-to-end rollout throughput and 2.5 times of training convergency compared to the SOTA embodied RL systems.
• Abstract（参考訳）: 身体強化学習(RL)は、環境シミュレーション、アクション生成、モデル更新のパイプラインでモデル機能を改善する。 これらのステージは、異質なCPUとGPU要求を示し、効率的なリソース利用を困難にしている。 最近のシステムは、効率のトレーニングを伴うロールアウト(シミュレーションと生成)と重なり合うが、ロールアウトにおける排他的GPUアロケーションと同期バリアは、依然としてかなりのハードウェアリソースを浪費している。 本稿では,非同期なRLトレーニングシステムであるEBRLについて述べる。 非同期パイプラインスケジューラは、ロールアウトとトレーニング、環境グループ間のパイプラインシミュレーションと生成をオーバーラップし、各環境を独立して実行する。 きめ細かいリソースマネージャは、CPUコアとGPUストリーミングマルチプロセッサをプールし、ステージプロファイルとランタイムフィードバックを使用して、リソースクォータとバッチサイズを調整することで、ステージ間のシフト要求を満たす。 我々は、RLinfにEBRLを実装し、4つの具体的ポリシーと、異種GPUテストベッドにまたがる4つのシミュレーションベンチマークで評価する。 実験により、EBRLはSOTAの実施したRLシステムと比較して、エンドツーエンドのロールアウトスループットの1.30-3.47倍、トレーニングコンバージェンシーの2.5倍を達成することが示された。

関連論文リスト

• Accelerating Disaggregated RL for Visual Generative LLMs with Diffusion-Based Parallelism and Trainer-Assisted Generation [26.08473785297375]
  DigenRLは拡散型大規模言語モデル(LLM)のフレームワークである 柔軟なリソース割り当てをサポートし、異種GPUに対応し、効率的なタスクスケジューリングを容易にする。 DigenRLは、最先端拡散RLシステムよりも1.56-2.10倍のスループット向上を実現している。
  論文  参考訳（メタデータ） (2026-06-23T09:59:35Z)
• SortedRL: Accelerating RL Training for LLMs through Online Length-Aware Scheduling [54.276306194000405]
  SortedRLを提案する。SortedRLは、強化学習をスケールするためのオンライン長対応スケジューリング戦略である。 SortedRLは、出力長に基づいてロールアウトサンプルをリオーダーし、短いサンプルが早期更新のためにグループを形成することを優先順位付けする。 LLaMA-3.1-8BとQwen-2.5-32Bを論理パズルを含む様々なタスクで実験した結果、SortedRLはRLトレーニングバブル比を50%以上削減することが示された。
  論文  参考訳（メタデータ） (2026-03-24T16:48:31Z)
• AReaL-Hex: Accommodating Asynchronous RL Training over Heterogeneous GPUs [24.96730768606278]
  異種対応非同期RLトレーニングシステムであるAReaL-Hexを提案する。 ヘテロジニアスGPU上でロールアウト生成とポリシモデルのトレーニングを実行する方法を、効果的にスケジュールする。 最大1.50倍のトレーニングスループットと1.46倍のトレーニングコストの削減を提供する。
  論文  参考訳（メタデータ） (2025-11-02T04:17:30Z)
• RLBoost: Harvesting Preemptible Resources for Cost-Efficient Reinforcement Learning on LLMs [48.94639777633359]
  RLBoostは、プリエンプティブルGPUリソースを抽出するコスト効率のよいRLトレーニングのための体系的なソリューションである。 RLBoostはトレーニングのスループットを1.51x-1.97x向上し、オンデマンドGPUリソースのみを使用する場合に比べてコスト効率は28%-49%向上した。
  論文  参考訳（メタデータ） (2025-10-22T04:19:37Z)
• Part II: ROLL Flash -- Accelerating RLVR and Agentic Training with Asynchrony [78.70328630805041]
  ROLL Flashは、ROLLを拡張し、非同期RLポストトレーニングをネイティブにサポートするシステムである。 ROLL Flashは同期RLポストトレーニングよりもリソース利用とスケーラビリティを著しく向上させることを示す。
  論文  参考訳（メタデータ） (2025-10-13T12:41:27Z)
• StreamRL: Scalable, Heterogeneous, and Elastic RL for LLMs with Disaggregated Stream Generation [55.75008325187133]
  強化学習(RL)は,大規模言語モデル(LLM)の学習後のコアとなる。 StreamRLは、最初の原則から分離して、2種類のパフォーマンスボトルネックに対処するように設計されている。 実験により、StreamRLは既存の最先端システムと比較してスループットを最大2.66倍改善することが示された。
  論文  参考訳（メタデータ） (2025-04-22T14:19:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。