Fugu-MT 論文翻訳(概要): Conduit: An Experience Data Plane for Distributed Reinforcement Learning

論文の概要: Conduit: An Experience Data Plane for Distributed Reinforcement Learning

arxiv url: http://arxiv.org/abs/2609.24456v1
Date: Mon, 21 Sep 2026 12:02:41 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-23 18:04:03.995348
Title: Conduit: An Experience Data Plane for Distributed Reinforcement Learning
Title（参考訳）: Conduit: 分散強化学習のためのエクスペリエンスデータプレーン
Abstract要約: 分散強化学習(RL)は、アクターと学習者をエクスペリエンスバッファの周りに並列化することで、トレーニングをスケールする。既存のRLシステムは、フレームワーク制御フロー内にこのパスを埋め込むか、要求駆動のバッファサービスとして公開する。本稿では,RL経験管理を明示的なシステム最適化問題として公開するフレームワークに依存しないランタイムであるConduitを提案する。
参考スコア（独自算出の注目度）: 7.528937475270744
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Distributed reinforcement learning (RL) scales training by parallelizing actors and learners around an Experience Buffer. As RL workloads grow, however, the buffer becomes more than a replay queue: it is the storage substrate of a large-capacity, latency-critical experience path that every iteration traverses to move, transform, sample, and batch experiences before learner updates can begin. Existing RL systems embed this path inside framework control flow or expose it as a request-driven buffer service, leaving experience placement fixed and experience-path work difficult to schedule independently as a runtime-level optimization target. We present Conduit, a framework-agnostic runtime that exposes RL experience management as an explicit systems optimization problem. At its core is the Experience Data Plane (EDP), a runtime abstraction that separates RL experience-handling semantics from framework-specific execution logic by exposing experience ingestion, experience placement, and experience delivery as explicit control points. Built on EDP, Conduit introduces capacity-constrained, bandwidth-aware placement, which distributes experience state across CPU/GPU memory tiers and nodes under heterogeneous interconnect and device-memory constraints, and latency-aware scheduling, which controls when experience-path handling runs to reduce exposed experience-path latency while preserving RL semantics. Integrated with RLlib without changing its framework execution logic, Conduit reduces exposed experience-path latency by up to 97% and end-to-end iteration latency by up to 38%, scales to 1,024 GPUs, and preserves convergence.
Abstract（参考訳）: 分散強化学習(RL)は、アクターと学習者をエクスペリエンスバッファの周りに並列化することで、トレーニングをスケールする。しかし、RLワークロードが大きくなるにつれて、バッファはリプレイキュー以上のものとなる。これは大きなキャパシティとレイテンシクリティカルなエクスペリエンスパスのストレージ基板であり、すべてのイテレーションが、学習者の更新が始まる前に、移動、変換、サンプリング、バッチエクスペリエンスを横断する。既存のRLシステムは、フレームワーク制御フロー内にこのパスを埋め込むか、あるいは要求駆動のバッファサービスとして公開する。本稿では,RL経験管理を明示的なシステム最適化問題として公開するフレームワークに依存しないランタイムであるConduitを提案する。コアとなるのは、経験の取り込み、経験の配置、体験のデリバリを明示的な制御ポイントとして公開することにより、RL体験処理セマンティクスとフレームワーク固有の実行ロジックを分離するランタイム抽象化である、エクスペリエンスデータプレーン(EDP)である。 EDP上に構築されたConduitでは、CPU/GPUメモリ層とノード間でのエクスペリエンス状態を均質な相互接続およびデバイス依存の制約下で分散する、キャパシティに制約のある帯域幅対応配置と、経験パス処理の実行時のレイテンシ対応スケジューリングを導入し、RLセマンティクスを保存しながら露呈されたエクスペリエンスパスレイテンシを低減する。フレームワークの実行ロジックを変更することなくRLlibに統合されたConduitは、公開エクスペリエンスパスレイテンシを最大97%削減し、エンドツーエンドのイテレーションレイテンシを最大38%削減し、GPU1,024にスケールし、コンバージェンスを保存する。

関連論文リスト

CoMem: Context Management with A Decoupled Long-Context Model [68.6597154502361]
CoMemは、プライマリエージェントワークフローからメモリ管理を分離するフレームワークである。我々は、CoMemがバニラロングコンテキストソリューションで1.4倍のレイテンシ改善を実現していることを示す。
論文参考訳（メタデータ） (2026-05-29T04:59:32Z)
SortedRL: Accelerating RL Training for LLMs through Online Length-Aware Scheduling [54.276306194000405]
SortedRLを提案する。SortedRLは、強化学習をスケールするためのオンライン長対応スケジューリング戦略である。 SortedRLは、出力長に基づいてロールアウトサンプルをリオーダーし、短いサンプルが早期更新のためにグループを形成することを優先順位付けする。 LLaMA-3.1-8BとQwen-2.5-32Bを論理パズルを含む様々なタスクで実験した結果、SortedRLはRLトレーニングバブル比を50%以上削減することが示された。
論文参考訳（メタデータ） (2026-03-24T16:48:31Z)
UI-Mem: Self-Evolving Experience Memory for Online Reinforcement Learning in Mobile GUI Agents [50.053654092780825]
オンライン強化学習(RL)は、直接的な環境相互作用を通じてGUIエージェントを強化するための有望なパラダイムを提供する。階層的エクスペリエンスメモリによるGUIオンラインRLを強化する新しいフレームワークであるUI-Memを提案する。 UI-Memは従来のRLベースラインや静的再利用戦略よりも大幅に優れています。
論文参考訳（メタデータ） (2026-02-05T16:21:43Z)
RollArt: Scaling Agentic RL Training via Disaggregated Infrastructure [49.88201789074532]
エージェント強化学習(RL)は、大規模言語モデル(LLM)が自律的な意思決定と長期計画を行うことを可能にする。分散インフラストラクチャ上でマルチタスクエージェントRLのスループットを最大化する分散システムであるRollArcを提案する。
論文参考訳（メタデータ） (2025-12-27T11:14:23Z)
SeamlessFlow: A Trainer Agent Isolation RL Framework Achieving Bubble-Free Pipelines via Tag Scheduling [29.845079500971615]
SeamlessFlowはサーバベースの強化学習フレームワークである。 1)エージェントの複雑な実行フローからRLトレーニングを分離し、(2)最小アイドル時間でGPU利用を最大化する。
論文参考訳（メタデータ） (2025-08-15T15:55:37Z)
MindSpeed RL: Distributed Dataflow for Scalable and Efficient RL Training on Ascend NPU Cluster [6.589537564035392]
強化学習(Reinforcement Learning, RL)は、大規模言語モデルの整合化にますます用いられるパラダイムである。本稿では,大規模RL学習のための効果的かつ効率的なシステムであるMindSpeed RLを紹介する。
論文参考訳（メタデータ） (2025-07-25T07:11:49Z)
StreamRL: Scalable, Heterogeneous, and Elastic RL for LLMs with Disaggregated Stream Generation [55.75008325187133]
強化学習(RL)は,大規模言語モデル(LLM)の学習後のコアとなる。 StreamRLは、最初の原則から分離して、2種類のパフォーマンスボトルネックに対処するように設計されている。実験により、StreamRLは既存の最先端システムと比較してスループットを最大2.66倍改善することが示された。
論文参考訳（メタデータ） (2025-04-22T14:19:06Z)
Plume: A Framework for High Performance Deep RL Network Controllers via Prioritized Trace Sampling [8.917042313344943]
DRLトレーニングデータセットにおける歪んだ入力トレース分布を自動的に識別し、バランスをとるためのフレームワークPlumeを導入する。本稿では,適応ビットレートストリーミング,混雑制御,負荷分散といった3つのネットワーク環境におけるPlumeの評価を行った。 Plumeは、異なるコントローラとDRLアルゴリズムでシミュレーションと実世界の設定の両方で優れたパフォーマンスを提供する。
論文参考訳（メタデータ） (2023-02-24T02:09:33Z)
FIRE: A Failure-Adaptive Reinforcement Learning Framework for Edge Computing Migrations [54.34189781923818]
FIREは、エッジコンピューティングのディジタルツイン環境でRLポリシーをトレーニングすることで、まれなイベントに適応するフレームワークである。 ImREは重要なサンプリングに基づくQ-ラーニングアルゴリズムであり、希少事象をその値関数への影響に比例してサンプリングする。 FIREは故障時にバニラRLやグリーディベースラインと比較してコストを削減できることを示す。
論文参考訳（メタデータ） (2022-09-28T19:49:39Z)
Associative Memory Based Experience Replay for Deep Reinforcement Learning [6.117098064452361]
優先順位付けされたエクスペリエンスリプレイ(PER)は、DRLエージェントに強力で広くデプロイされていることが証明されている。 PERは、頻繁で不規則なメモリアクセスのために、重大な遅延オーバーヘッドを発生させる。本稿では,連想メモリ(AM)ベースのPER,AMPERをAMフレンドリな優先サンプリング操作で設計するハードウェア・ソフトウェア共同設計手法を提案する。
論文参考訳（メタデータ） (2022-07-16T00:12:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。