論文の概要: Rollplex: Cross-Phase GPU Spatial Sharing for Vision Language Model Post-Training
- arxiv url: http://arxiv.org/abs/2608.14498v1
- Date: Fri, 14 Aug 2026 17:13:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-17 20:14:29.450897
- Title: Rollplex: Cross-Phase GPU Spatial Sharing for Vision Language Model Post-Training
- Title(参考訳): Rollplex: トレーニング後のビジョン言語モデルのためのクロスプラットフォームGPU空間共有
- Abstract要約: 視覚言語モデル(VLM)は、エンボディエージェントが視覚観察や言語指示から推論と行動を行うことを可能にする。
現在のRLランタイムは、厳密なシリアルフェーズでロールアウト、参照スコアリング、アクタトレーニングを実行する。
Rollplexは、参照とトレーニングフェーズを分解し、ロールアウトウィンドウに移動します。
- 参考スコア(独自算出の注目度): 9.858972472026501
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Vision-language models (VLMs) enable embodied agents to reason and act from visual observations and language instructions. Reinforcement learning (RL) post-training enhances these capabilities using task feedback, but current on-policy RL runtimes execute rollout, reference scoring, and actor training in strict serial phases. While effective for text-only RL, this phase-granular execution is wasteful for VLMs, where processing dense video inputs and prompt prefixes occupies a large fraction of each phase. Because prefix processing is independent of the generated response, it can be run alongside rollout decoding, which leaves GPU compute capacity underutilized, without breaking synchronous on-policy semantics. We present Rollplex, a runtime that decomposes the reference and training phase and moves the prefix computation into the rollout decode window. Realizing this schedule requires more than concurrent kernel launches: naive colocation of Qwen2.5-VL-32\,B requires roughly 165\,GiB per GPU, while rollout and training prefer different tensor-parallel (TP) degrees and weight layouts. Rollplex addresses these constraints with two mechanisms. Phase-aware memory management controls HBM residency according to producer--consumer lifetimes. Parallelism-aware weight sharing uses the same physical storage for layout-compatible tensors across distinct TP degrees and reconstructs only incompatible tensors, avoiding a complete second actor copy. On 32 H800 GPUs, Rollplex achieves $1.23\times$--$1.30\times$ speedup over serial colocation and $1.57\times$--$2.24\times$ over disaggregation under the same GPU budget, while preserving the synchronous RL update.
- Abstract(参考訳): 視覚言語モデル(VLM)は、エンボディエージェントが視覚観察や言語指示から推論と行動を行うことを可能にする。
強化学習(Reinforcement Learning, RL)は、タスクフィードバックを使用してこれらの機能を強化するが、現在のRLランタイムは、厳密なシリアルフェーズでロールアウト、参照スコアリング、アクタトレーニングを実行する。
テキストのみのRLでは有効であるが、このフェーズグラニュラー実行はVLMでは無駄であり、高密度なビデオ入力とプロンプトプレフィックスが各フェーズのかなりの割合を占める。
プレフィックス処理は生成されたレスポンスとは独立しているため、ロールアウトデコーディングと並行して実行できる。
本稿では、参照およびトレーニングフェーズを分解し、プレフィックス計算をロールアウトデコードウィンドウに移動させるランタイムであるRollplexを紹介する。
Qwen2.5-VL-32\,BのネイティブコロケーションはGPUあたり約165\,GiBを必要とし、ロールアウトとトレーニングは異なるテンソル並列(TP)度とウェイトレイアウトを好む。
ロールプレックスは2つのメカニズムでこれらの制約に対処する。
位相認識型メモリ管理制御 HBM の常駐制御は, 消費者の寿命に応じて行われる。
並列性を考慮した重み共有は、レイアウト互換のテンソルに対して異なるTP度にわたって同じ物理ストレージを使用し、互換性のないテンソルのみを再構築し、完全な第2アクターコピーを避ける。
32のH800 GPUにおいて、Rollplexは1.23\times$--$1.30\times$シリアルコロケーションのスピードアップと1.57\times$--$2.24\times$ over disaggregationを同じGPU予算で達成し、同期RLアップデートを保存している。
関連論文リスト
- StreamPI: Streaming Multimodal Temporal Modeling for Vision-Language-Action Models [84.17128030384099]
StreamPIはストリーミングマルチモーダル時間モデリングフレームワークである。
追加パラメータを導入することなく、単一フレームのVLAに時間的推論能力を持たせる。
メモリ依存および正確な認識シナリオにまたがる実ロボットタスクの実験とシミュレーションベンチマークのLIBEROは、StreamPIが様々なタスクでpi0.5より優れていることを示した。
論文 参考訳(メタデータ) (2026-08-26T17:33:19Z) - Dual-Flow Transformers: Decoupling the Primary Prefill Path from Additional Decode Computation [40.63754545623815]
本稿では,プロンプトを処理し,KVキャッシュを記述する言語モデルであるDual-Flow Transformerを紹介する。
その主な流れは、プロンプトを処理し、KVキャッシュを書く完全な因果言語モデルである。
固定されたプリフィル・エキスパート計算におけるデコード計算の増加と、2つのフロー間の固定されたデコード・エキスパート予算の再配置という2つの条件について検討する。
論文 参考訳(メタデータ) (2026-07-31T17:18:36Z) - LongLive-2.0: An NVFP4 Parallel Infrastructure for Long Video Generation [84.86814271505109]
LongLive-2.0は、長いビデオ生成の完全なトレーニングと推論ワークフロー全体を通じて、NVFP4ベースの並列インフラストラクチャである。
トレーニングには,quence-parallel autoregressive (AR) トレーニングを導入する。
実験ではトレーニングで2.15倍、推論で1.84倍のスピードアップを示す。
論文 参考訳(メタデータ) (2026-05-18T17:57:03Z) - Horizon-LM: A RAM-Centric Architecture for LLM Training [26.927410607740025]
Horizon-LMは、大規模なモデル最適化のためにCPUとGPUの役割を再定義するメモリ中心のトレーニングシステムである。
1.5,TBのホストRAMを持つ1つのH200 GPU上で、Horizon-LMは120Bパラメータまでのモデルを確実にトレーニングする。
標準的なシングルA100マシンでは、Horizon-LMはCPUオフロードのDeepSpeed ZeRO-3よりも最大12.2$timesのトレーニングスループットを実現している。
論文 参考訳(メタデータ) (2026-02-04T18:04:46Z) - Out of the Memory Barrier: A Highly Memory Efficient Training System for LLMs with Million-Token Contexts [68.79341332280062]
長いコンテキストでの大規模言語モデル(LLM)のトレーニングは、トレーニング時間ではなく、GPUメモリの異常なオーバーヘッドによって厳しく制限される。
この障壁に直面するメモリ効率の高いトレーニングシステムOOMBを紹介します。
本手法では,オンザフライアクティベーション・リコンピュテーションを備えたチャンク・リカレント・トレーニング・フレームワークを用いて,一定のアクティベーションメモリフットプリントを維持する。
論文 参考訳(メタデータ) (2026-02-02T13:52:40Z) - RollArt: Scaling Agentic RL Training via Disaggregated Infrastructure [49.88201789074532]
エージェント強化学習(RL)は、大規模言語モデル(LLM)が自律的な意思決定と長期計画を行うことを可能にする。
分散インフラストラクチャ上でマルチタスクエージェントRLのスループットを最大化する分散システムであるRollArcを提案する。
論文 参考訳(メタデータ) (2025-12-27T11:14:23Z) - Nexus:Proactive Intra-GPU Disaggregation of Prefill and Decode in LLM Serving [4.309392302169281]
エンジンレベルのプリフィル・デコード(PD)デアグリゲーションは干渉を避けるが、高いハードウェアと調整オーバーヘッドを引き起こす。
PDは、最大2.2倍のスループット、20倍のTTFT、2.5倍のTBTを達成する。
論文 参考訳(メタデータ) (2025-07-09T07:27:18Z) - Minute-Long Videos with Dual Parallelisms [57.22737565366549]
Diffusion Transformer (DiT)ベースのビデオ拡散モデルは、大規模に高品質なビデオを生成するが、長いビデオの処理遅延とメモリコストは禁じられている。
我々はDualParalと呼ばれる新しい分散推論戦略を提案する。
1つのGPUでビデオ全体を生成する代わりに、時間フレームとモデルレイヤの両方をGPU間で並列化します。
論文 参考訳(メタデータ) (2025-05-27T11:55:22Z) - Hardware-Aware Parallel Prompt Decoding for Memory-Efficient Acceleration of LLM Inference [23.633481089469836]
LLM(Large Language Models)の自動回帰デコーディングは、ハードウェアの性能に大きなオーバーヘッドをもたらす。
トレーニング可能なパラメータを0.0002$%しか必要とせず,A100-40GBのGPUをたった16時間で効率的にトレーニングできる並列プロンプトデコーディングを提案する。
我々のアプローチでは、最大2.49$times$ スピードアップを示し、最小のメモリオーバーヘッドは0.0004$%である。
論文 参考訳(メタデータ) (2024-05-28T22:19:30Z) - Efficient Parallel Reinforcement Learning Framework using the Reactor
Model [2.190190313041532]
強化学習(RL)フレームワークは、RLワークロードを複数の計算リソースにマッピングするために不可欠である。
Rayのような既存のフレームワークは、このオーケストレーションを効率的に管理していない。
我々は,アクターの集合が固定的な通信パターンを持つように強制するリアクターモデルを実装するソリューションを提案している。
論文 参考訳(メタデータ) (2023-12-07T21:19:57Z) - Fast Chain-of-Thought: A Glance of Future from Parallel Decoding Leads to Answers Faster [61.83949316226113]
FastCoTは並列デコーディングに基づくモデルに依存しないフレームワークである。
我々は、FastCoTが通常のアプローチと比較して、無視できる性能低下だけで、推論時間を20%近く削減できることを示します。
論文 参考訳(メタデータ) (2023-11-14T15:56:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。