論文の概要: AcceRL: A Distributed Asynchronous Reinforcement Learning and World Model Framework for Vision-Language-Action Models

• arxiv url: http://arxiv.org/abs/2603.18464v1
• Date: Thu, 19 Mar 2026 03:50:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-20 17:19:05.94767
• Title: AcceRL: A Distributed Asynchronous Reinforcement Learning and World Model Framework for Vision-Language-Action Models
• Title（参考訳）: AcceRL:ビジョン・ランゲージ・アクションモデルのための分散非同期強化学習と世界モデルフレームワーク
• Authors: Chengxuan Lu, Shukuan Wang, Yanjie Li, Wei Liu, Shiji Jin, Fuyuan Qian, Peiming Li, Baigui Sun, Yang Liu,
• Abstract要約: 本稿では,完全に非同期で疎結合なRLフレームワークであるAceRLを提案する。 AcceRLは、プラグ&プレイ可能なトレーニング可能なワールドモデルを分散非同期RLパイプラインに統合する最初の方法である。 LIBEROベンチマークの実験では、AceRLがSOTA(State-of-the-art)のパフォーマンスを達成した。
• 参考スコア（独自算出の注目度）: 21.204182133307047
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning (RL) for large-scale Vision-Language-Action (VLA) models faces significant challenges in computational efficiency and data acquisition. We propose AcceRL, a fully asynchronous and decoupled RL framework designed to eliminate synchronization barriers by physically isolating training, inference, and rollouts. Crucially, AcceRL is the first to integrate a plug-and-play, trainable world model into a distributed asynchronous RL pipeline to generate virtual experiences. Experiments on the LIBERO benchmark demonstrate that AcceRL achieves state-of-the-art (SOTA) performance. Systematically, it exhibits super-linear scaling in throughput and highly efficient hardware utilization. Algorithmically, the world-model-augmented variant delivers unprecedented sample efficiency and robust training stability in complex control tasks.
• Abstract（参考訳）: 大規模ビジョンランゲージ・アクション(VLA)モデルのための強化学習(RL)は、計算効率とデータ取得において大きな課題に直面している。 本稿では,完全非同期で疎結合なRLフレームワークであるAceRLを提案する。 重要なことに、AceRLは、プラグ&プレイ可能なトレーニング可能なワールドモデルを分散非同期RLパイプラインに統合して、仮想エクスペリエンスを生成する最初の方法です。 LIBEROベンチマークの実験では、AceRLがSOTA(State-of-the-art)のパフォーマンスを達成した。 システム的には、スループットの超線形スケーリングと、高い効率のハードウェア利用を示す。 アルゴリズム的には、ワールドモデル拡張版は、複雑な制御タスクにおいて前例のないサンプル効率と堅牢なトレーニング安定性を提供する。

関連論文リスト

• AReaL-Hex: Accommodating Asynchronous RL Training over Heterogeneous GPUs [24.96730768606278]
  異種対応非同期RLトレーニングシステムであるAReaL-Hexを提案する。 ヘテロジニアスGPU上でロールアウト生成とポリシモデルのトレーニングを実行する方法を、効果的にスケジュールする。 最大1.50倍のトレーニングスループットと1.46倍のトレーニングコストの削減を提供する。
  論文  参考訳（メタデータ） (2025-11-02T04:17:30Z)
• DRL: Discriminative Representation Learning with Parallel Adapters for Class Incremental Learning [63.65467569295623]
  本稿では,これらの課題に対処するための差別的表現学習(DRL)フレームワークを提案する。 逐次学習を効果的かつ効率的に行うために、DRLのネットワークはPTM上に構築される。 我々のDRLは、CIL時代を通して、他の最先端の手法よりも一貫して優れています。
  論文  参考訳（メタデータ） (2025-10-14T03:19:15Z)
• Part II: ROLL Flash -- Accelerating RLVR and Agentic Training with Asynchrony [78.70328630805041]
  ROLL Flashは、ROLLを拡張し、非同期RLポストトレーニングをネイティブにサポートするシステムである。 ROLL Flashは同期RLポストトレーニングよりもリソース利用とスケーラビリティを著しく向上させることを示す。
  論文  参考訳（メタデータ） (2025-10-13T12:41:27Z)
• DAWM: Diffusion Action World Models for Offline Reinforcement Learning via Action-Inferred Transitions [6.723690093335988]
  本研究では,現在の状態,行動,帰路を条件に,将来の状態逆トラジェクトリを生成する拡散型世界モデルを提案する。 我々は、TD3BCやIQLのような保守的なオフラインRLアルゴリズムは、これらの拡張軌道のトレーニングから大きな恩恵を受けることを示す。
  論文  参考訳（メタデータ） (2025-09-23T20:06:26Z)
• Ring-lite: Scalable Reasoning via C3PO-Stabilized Reinforcement Learning for LLMs [51.21041884010009]
  Ring-liteは、強化学習(RL)により最適化されたMixture-of-Experts(MoE)ベースの大規模言語モデルである 我々のアプローチは、挑戦的なベンチマーク上でのSOTA(State-of-the-art)の小規模推論モデルの性能と一致する。
  論文  参考訳（メタデータ） (2025-06-17T17:12:34Z)
• Angles Don't Lie: Unlocking Training-Efficient RL Through the Model's Own Signals [49.17123504516502]
  大規模言語モデル(LLM)のためのRFTパラダイムは、均一なデータサンプリングの下で同じクエリが冗長に露出するため、効率が悪い。 グラディエント駆動型アングルインフォームドナビゲーションRLフレームワークを提案する。 モデル固有の角度集中信号を利用することで、GAIN-RLは各エポックにおけるトレーニングデータを動的に選択し、一貫したインパクトのある勾配更新を確実にする。
  論文  参考訳（メタデータ） (2025-06-02T21:40:38Z)
• LlamaRL: A Distributed Asynchronous Reinforcement Learning Framework for Efficient Large-scale LLM Training [32.575669924032276]
  強化学習(RL)は、大規模言語モデル(LLM)の能力向上のための訓練後の最も効果的なアプローチとなっている。 本稿では,LlamaRLについて述べる。LlamaRLは大規模LLMの効率的なトレーニングに最適化された,完全に分散された非同期RLフレームワークである。
  論文  参考訳（メタデータ） (2025-05-29T22:14:15Z)
• Scaling Offline RL via Efficient and Expressive Shortcut Models [13.050231036248338]
  ノイズサンプリングプロセスの反復性のため, オフライン強化学習(RL)は依然として困難である。 本稿では、ショートカットモデルを利用してトレーニングと推論の両方をスケールする新しいオフラインRLアルゴリズムであるScalable Offline Reinforcement Learning (SORL)を紹介する。 我々は、SORLがオフラインのRLタスクにまたがって高い性能を達成し、テスト時間計算の増大とともに正のスケーリング挙動を示すことを示した。
  論文  参考訳（メタデータ） (2025-05-28T20:59:22Z)
• StreamRL: Scalable, Heterogeneous, and Elastic RL for LLMs with Disaggregated Stream Generation [55.75008325187133]
  強化学習(RL)は,大規模言語モデル(LLM)の学習後のコアとなる。 StreamRLは、最初の原則から分離して、2種類のパフォーマンスボトルネックに対処するように設計されている。 実験により、StreamRLは既存の最先端システムと比較してスループットを最大2.66倍改善することが示された。
  論文  参考訳（メタデータ） (2025-04-22T14:19:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。