論文の概要: Efficient Training on Multiple Consumer GPUs with RoundPipe

• arxiv url: http://arxiv.org/abs/2604.27085v1
• Date: Wed, 29 Apr 2026 18:26:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-01 16:31:53.753322
• Title: Efficient Training on Multiple Consumer GPUs with RoundPipe
• Title（参考訳）: ラウンドパイプを用いた複数のコンシューマGPUの効率的なトレーニング
• Authors: Yibin Luo, Shiwei Gao, Huichuan Zheng, Youyou Lu, Jiwu Shu,
• Abstract要約: コンシューマグレードのGPU上での微調整大型言語モデルは、コスト効率が高いが、限られたGPUメモリと遅いPCIeインターコネクトによって制限されている。 本稿では,コンシューマGPUサーバの重み付け制約を破る新たなパイプラインスケジュールであるRoundPipeを提案する。 RoundPipeは1.7Bから32Bモデルに微調整した場合、最先端のベースラインよりも1.48--2.16$times$のスピードアップを実現している。
• 参考スコア（独自算出の注目度）: 6.9987546217738945
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fine-tuning Large Language Models (LLMs) on consumer-grade GPUs is highly cost-effective, yet constrained by limited GPU memory and slow PCIe interconnects. Pipeline parallelism combined with CPU offloading mitigates these hardware bottlenecks by reducing communication overhead. However, existing PP schedules suffer from an inherent limitation termed the weight binding issue. Binding uneven model stages (e.g., the LM head is large) to GPUs limits the pipeline's throughput to that of the GPU with the heaviest load, leading to severe pipeline bubbles. In this paper, we propose RoundPipe, a novel pipeline schedule that breaks the weight binding constraint on consumer GPU servers. RoundPipe treats GPUs as a pool of stateless execution workers and dynamically dispatches computation stages across devices in a round-robin manner, achieving a near-zero-bubble pipeline. To ensure training correctness and system efficiency, RoundPipe integrates a priority-aware transfer scheduling engine, a fine-grained distributed event-based synchronization protocol, and an automated layer partitioning algorithm. Evaluations on an 8$\times$ RTX 4090 server demonstrate that RoundPipe achieves 1.48--2.16$\times$ speedups over state-of-the-art baselines when fine-tuning 1.7B to 32B models. Remarkably, RoundPipe enables LoRA fine-tuning of the Qwen3-235B model with 31K sequence length on a single server. RoundPipe is publicly available as an open-source Python library with comprehensive documentation.
• Abstract（参考訳）: コンシューマグレードのGPU上での微調整大型言語モデル(LLM)はコスト効率が高いが、限られたGPUメモリと遅いPCIeインターコネクトによって制約される。 パイプライン並列性とCPUオフロードを組み合わせることで、通信オーバーヘッドを減らすことで、これらのハードウェアボトルネックが軽減される。 しかし、既存のPPスケジュールは、重み付け問題と呼ばれる固有の制限に悩まされている。 不均一なモデルステージ(例えばLMヘッドは大きい)をGPUにバインドすることで、パイプラインのスループットをGPUのスループットに制限する。 本稿では,コンシューマGPUサーバの重み付け制約を破る新しいパイプラインスケジュールであるRoundPipeを提案する。 RoundPipeは、GPUをステートレスな実行ワーカーのプールとして扱い、ラウンドロビン方式でデバイス間で動的に計算ステージをディスパッチし、ほぼゼロのバブルパイプラインを実現する。 トレーニングの正確性とシステム効率を確保するため、RoundPipeは優先度対応の転送スケジューリングエンジン、きめ細かい分散イベントベースの同期プロトコル、自動層分割アルゴリズムを統合している。 8$\times$ RTX 4090サーバでの評価では、1.7Bから32Bモデルに微調整すると、RoundPipeは最先端のベースラインよりも1.48--2.16$\times$のスピードアップを達成した。 RoundPipeは、単一サーバ上で31Kのシーケンス長を持つQwen3-235BモデルのLoRA微調整を可能にする。 RoundPipeは、包括的なドキュメントを備えたオープンソースのPythonライブラリとして公開されている。

関連論文リスト

• Spava: Accelerating Long-Video Understanding via Sequence-Parallelism-aware Approximate Attention [63.69228529380251]
  Spavaはシーケンス並列フレームワークで、ロングビデオ推論に最適化されている。 Spavaは、FlashAttn、ZigZagRing、APBで12.72x、1.70x、1.18xのスピードアップを提供する。
  論文  参考訳（メタデータ） (2026-01-29T09:23:13Z)
• Minute-Long Videos with Dual Parallelisms [57.22737565366549]
  Diffusion Transformer (DiT)ベースのビデオ拡散モデルは、大規模に高品質なビデオを生成するが、長いビデオの処理遅延とメモリコストは禁じられている。 我々はDualParalと呼ばれる新しい分散推論戦略を提案する。 1つのGPUでビデオ全体を生成する代わりに、時間フレームとモデルレイヤの両方をGPU間で並列化します。
  論文  参考訳（メタデータ） (2025-05-27T11:55:22Z)
• 70% Size, 100% Accuracy: Lossless LLM Compression for Efficient GPU Inference via Dynamic-Length Float [52.079202872069835]
  大規模言語モデル(LLM)や拡散モデル(DM)といった大規模AIモデルは急速に成長している。 圧縮フレームワークであるDynamic-Length Float (DFloat11) を導入し, LLM と DM サイズを30%削減した。
  論文  参考訳（メタデータ） (2025-04-15T22:38:38Z)
• PIPO: Pipelined Offloading for Efficient Inference on Consumer Devices [13.786008100564185]
  我々は、消費者デバイス上で効率的な推論を行うための、パイプラインオフロード(PIPO)と呼ばれる新しいフレームワークを提案する。 PIPOは、推論のための高効率なスケジューリングを実現するために、最適化されたデータ転送と計算を補完するきめ細かいオフロードパイプラインを設計する。
  論文  参考訳（メタデータ） (2025-03-15T08:48:38Z)
• BitPipe: Bidirectional Interleaved Pipeline Parallelism for Accelerating Large Models Training [5.7294516069851475]
  BitPipeは、大規模なモデルのトレーニングを加速するための双方向のインターリーブパイプライン並列処理である。 最新の同期手法と比較して,BitPipeはGPTスタイルとBERTスタイルのモデルのトレーニングスループットを1.05x-1.28倍向上することを示す。
  論文  参考訳（メタデータ） (2024-10-25T08:08:51Z)
• Efficient Tabular Data Preprocessing of ML Pipelines [9.23424733090734]
  データ前処理パイプラインは機械学習(ML)トレーニングの重要なコンポーネントである。 Piperは、データ前処理のためのハードウェアアクセラレータで、FPGA上でプロトタイプし、商用レコメンデータシステムのパイプラインをトレーニングする可能性を実証している。 Piperは128コアのCPUサーバ上でのレイテンシの高速化を4.7$sim$ 71.3$times$達成し、バイナリ入力を使用する場合のデータセンタGPUの4.8$sim$ 20.3$times$を上回っている。
  論文  参考訳（メタデータ） (2024-09-23T11:07:57Z)
• MARLIN: Mixed-Precision Auto-Regressive Parallel Inference on Large Language Models [58.3342517278868]
  本稿では,Mixed-precision AutoRegressive LINearカーネルの設計について述べる。 バッチサイズは16-32までサポートでき、量子化のスピードアップが最大 (4times$) になる。 MarLINは非同期メモリアクセス、複雑なタスクスケジューリング、パイプライン化といったテクニックを組み合わせてこれを実現している。
  論文  参考訳（メタデータ） (2024-08-21T16:10:41Z)
• Pipette: Automatic Fine-grained Large Language Model Training Configurator for Real-World Clusters [5.190794062263327]
  大規模言語モデル(LLM)の訓練は、膨大な計算能力とメモリ容量の要求のために困難であることが知られている。 本稿では,実世界のクラスタを対象としたLLM自動微粒化トレーニングであるPipetteを提案する。
  論文  参考訳（メタデータ） (2024-05-28T11:59:44Z)
• Adaptive Elastic Training for Sparse Deep Learning on Heterogeneous Multi-GPU Servers [65.60007071024629]
  本稿では,Adaptive SGDが4つの最先端ソリューションよりも精度が高いことを示す。 本稿では,Adaptive SGDが時間と精度で4つの最先端ソリューションより優れていることを示す。
  論文  参考訳（メタデータ） (2021-10-13T20:58:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。