論文の概要: WeightBridge: An Efficient Weight Transfer Library for Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2609.25442v1
• Date: Mon, 21 Sep 2026 21:54:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-23 18:04:04.125387
• Title: WeightBridge: An Efficient Weight Transfer Library for Reinforcement Learning
• Title（参考訳）: WeightBridge: 強化学習のための効率的なウェイトトランスファーライブラリ
• Abstract要約: WeightBridgeは、様々なRL構成にまたがるハイパフォーマンスを実現するために設計された、柔軟で効率的なウェイトトランスファーライブラリである。 WeightBridgeは、最先端のオープンソースRLフレームワークよりも平均GPUの停止時間を最大42$times$に短縮する。
• 参考スコア（独自算出の注目度）: 7.612384367577325
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Weight transfer - the propagation of updated parameters from trainers to rollout generators - is becoming an important performance bottleneck in reinforcement learning (RL) systems for LLMs. The central challenge is supporting the diverse trainer and rollout layouts and synchronization requirements of modern RL workloads without sacrificing efficiency. Existing solutions are efficient under some configurations but perform poorly or lack support under others. We present WeightBridge, a flexible, efficient weight-transfer library designed to deliver high performance across diverse RL configurations. WeightBridge first automatically extracts the correspondence between trainer and rollout weight layouts, then plans and executes redundancy-free and load-balanced weight transfer. It exposes a small, general API while coordinating workers across diverse synchronization modes. Across configurations spanning different models, parallelization layouts, and synchronization modes, WeightBridge reduces average GPU stall time by up to 42$\times$ over the state-of-the-art open-source RL framework and achieves high performance in all settings. A coding agent was able to integrate WeightBridge into two different RL frameworks without manual guidance, demonstrating the generality and ease of use of its APIs.
• Abstract（参考訳）: LLMのための強化学習(RL)システムにおいて、トレーナーからロールアウトジェネレータへの更新パラメータの伝搬が重要なパフォーマンスボトルネックとなっている。 中心的な課題は、効率を犠牲にすることなく、現代的なRLワークロードの多様なトレーナーとロールアウトレイアウト、同期要件をサポートすることだ。 既存のソリューションは、一部の構成では効率的だが、貧弱な動作やサポートの欠如がある。 WeightBridgeは、様々なRL構成にまたがるハイパフォーマンスを実現するために設計された、柔軟で効率的なウェイトトランスファーライブラリである。 WeightBridgeは、まずトレーナーとロールアウトウェイトレイアウトの対応を自動的に抽出し、次に計画し、冗長性のないロードバランスウェイト転送を実行する。 さまざまな同期モードでワーカーを調整しながら、小さな汎用APIを公開する。 さまざまなモデル、並列化レイアウト、同期モードにまたがる構成で、WeightBridgeは、最先端のオープンソースRLフレームワークよりも平均GPUの停止時間を最大42$\times$に削減し、すべての設定で高いパフォーマンスを実現する。 コーディングエージェントは、2つの異なるRLフレームワークにWeightBridgeを手動のガイダンスなしで統合することができ、APIの汎用性と使いやすさを実証した。

関連論文リスト

• AstraFlow: Dataflow-Oriented Reinforcement Learning for Agentic LLMs [57.86040075371121]
  強化学習(Reinforcement Learning, RL)は、大規模言語モデルの推論、コーディング、ツール使用能力の向上にますます利用されている。 エージェントRLは違法に高価である。 本稿では,従来のトレーナー中心制御を原則的コンポーネント抽象化に置き換えるデータフロー指向RLシステムであるAstraFlowを提案する。
  論文  参考訳（メタデータ） (2026-05-15T03:13:35Z)
• Understanding and Exploiting Weight Update Sparsity for Communication-Efficient Distributed RL [16.40150726450328]
  帯域幅に制約のある分散環境では,100倍(14 GBから108 MB)の通信削減を実現している。 本研究は,重み付け時空間の段階的および多段階的粒度に関する系統的研究である。 アップデートの間隔は一貫して高く、実際に関係のある設定で99%を超えることがよくあります。
  論文  参考訳（メタデータ） (2026-02-03T18:56:48Z)
• Taming the Long-Tail: Efficient Reasoning RL Training with Adaptive Drafter [52.111923076688505]
  強力な推論能力を持つ大規模言語モデル(LLM)のトレーニングは、複雑な問題解決において新たなフロンティアを解放する重要なマイルストーンとなる。 本稿では,適応的投機的復号化を組み込むことで,RL学習の無作為に推論を高速化するシステムであるTLTを提案する。
  論文  参考訳（メタデータ） (2025-11-20T18:59:25Z)
• RLBoost: Harvesting Preemptible Resources for Cost-Efficient Reinforcement Learning on LLMs [48.94639777633359]
  RLBoostは、プリエンプティブルGPUリソースを抽出するコスト効率のよいRLトレーニングのための体系的なソリューションである。 RLBoostはトレーニングのスループットを1.51x-1.97x向上し、オンデマンドGPUリソースのみを使用する場合に比べてコスト効率は28%-49%向上した。
  論文  参考訳（メタデータ） (2025-10-22T04:19:37Z)
• Laminar: A Scalable Asynchronous RL Post-Training Framework [20.127034898123508]
  RL軌道生成における長い尾の歪みは、重いGPU不使用を引き起こす。 現在のRLシステムはアクターとロールアウト間のグローバルな重量同期に依存しており、厳密なモデル更新スケジュールを生成する。 完全に分離されたアーキテクチャ上に構築されたスケーラブルで堅牢なRLポストトレーニングシステムであるLaminarを提案する。
  論文  参考訳（メタデータ） (2025-10-14T15:29:14Z)
• LlamaRL: A Distributed Asynchronous Reinforcement Learning Framework for Efficient Large-scale LLM Training [32.575669924032276]
  強化学習(RL)は、大規模言語モデル(LLM)の能力向上のための訓練後の最も効果的なアプローチとなっている。 本稿では,LlamaRLについて述べる。LlamaRLは大規模LLMの効率的なトレーニングに最適化された,完全に分散された非同期RLフレームワークである。
  論文  参考訳（メタデータ） (2025-05-29T22:14:15Z)
• StreamRL: Scalable, Heterogeneous, and Elastic RL for LLMs with Disaggregated Stream Generation [55.75008325187133]
  強化学習(RL)は,大規模言語モデル(LLM)の学習後のコアとなる。 StreamRLは、最初の原則から分離して、2種類のパフォーマンスボトルネックに対処するように設計されている。 実験により、StreamRLは既存の最先端システムと比較してスループットを最大2.66倍改善することが示された。
  論文  参考訳（メタデータ） (2025-04-22T14:19:06Z)
• AutoHete: An Automatic and Efficient Heterogeneous Training System for LLMs [68.99086112477565]
  トランスフォーマーベースの大規模言語モデル(LLM)は、シーケンスモデリングやテキスト生成において例外的な機能を示した。 既存の異種トレーニング手法は、トレーニング可能なモデルの規模を大幅に拡大するが、かなりの通信オーバーヘッドとCPUワークロードを導入している。 本稿では,シングルGPU環境とマルチGPU環境の両方に互換性のある,自動的で効率的なヘテロジニアストレーニングシステムであるAutoHeteを提案する。
  論文  参考訳（メタデータ） (2025-02-27T14:46:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。