論文の概要: SlideDP: Scaling Host-Resident LLM Fine-Tuning Across Multiple GPUs

• arxiv url: http://arxiv.org/abs/2609.34162v1
• Date: Mon, 28 Sep 2026 02:39:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 06:57:47.743771
• Title: SlideDP: Scaling Host-Resident LLM Fine-Tuning Across Multiple GPUs
• Title（参考訳）: SlideDP: 複数のGPUをまたいだホストレジデントLDMファインチューニングのスケーリング
• Abstract要約: SlideDPは、共有ホストマルチGPUシステムのための同期データ並列ランタイムである。 1つの信頼できるホスト状態を維持し、状態レイアウトから通信ルートを分離し、パイプラインのパラメータ配信、勾配集約、ランクとチャンクにわたるCPU更新を行う。 SlideFormer、MegaTrain、ZeRO-Offloadよりも1.46-2.64$times$の幾何学平均スループット比を実現している。
• 参考スコア（独自算出の注目度）: 18.92711146810362
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Host-resident layer streaming enables full-parameter LLM fine-tuning beyond GPU memory, but data-parallel ranks compete for shared host resources. Replicated transfers amplify traffic, while strong scaling can expose host work as computation windows shrink. We present SlideDP, a synchronous data-parallel runtime for shared-host multi-GPU systems. It maintains one authoritative host state, decouples communication routes from state layout, and pipelines parameter delivery, gradient aggregation, and CPU updates across ranks and chunks. An analytical step-time model characterizes resource bottlenecks and pipeline exposure; runtime measurements guide communication, chunking, and activation policies under a GPU memory budget. In matched-batch sweeps, SlideDP achieves geometric-mean throughput ratios of 1.46-2.64$\times$ over SlideFormer, MegaTrain, and ZeRO-Offload. On four H100s, SlideDP approaches GPU-resident FSDP2 throughput for Qwen3-14B at a smaller batch size. With a larger batch, it processes over 1M tokens per step and exceeds FSDP2's measured peak throughput by 11.2%. Separately, it supports 256K-token sequences for the same model and fine-tunes Qwen2.5-72B on four RTX 4090 GPUs. Project page: https://github.com/RegiaYoung/SlideDP.
• Abstract（参考訳）: ホスト-レジデント層ストリーミングは、GPUメモリ以外のフルパラメータLLM微調整を可能にするが、データ-並列ランクは共有ホストリソースと競合する。 レプリケーションされた転送はトラフィックを増幅し、強いスケーリングは計算ウィンドウが縮小するにつれてホストの作業を公開する。 共有ホスト型マルチGPUシステムのための同期データ並列ランタイムであるSlideDPを提案する。 1つの信頼できるホスト状態を維持し、状態レイアウトから通信ルートを分離し、パイプラインのパラメータ配信、勾配集約、ランクとチャンクにわたるCPU更新を行う。 分析ステップタイムモデルは、GPUメモリ予算下での通信、チャンキング、アクティベーションポリシをガイドする実行時計測という、リソースのボトルネックとパイプラインの露出を特徴付ける。 マッチしたバッチスイープでは、SlideDPはSlideFormer、MegaTrain、ZeRO-Offloadよりも1.46-2.64$\times$の幾何平均スループット比を達成している。 4つのH100では、SlideDPはQwen3-14BのGPU常駐FSDP2スループットをバッチサイズより小さくする。 1ステップあたり100万以上のトークンを処理し、FSDP2のピークスループットを11.2%超える。 4つのRTX 4090 GPU上で、同じモデルで256Kのシークエンスと微調整のQwen2.5-72Bをサポートする。 プロジェクトページ: https://github.com/RegiaYoung/SlideDP

関連論文リスト

• Beyond the Trial-and-Error Loop: Hybrid Projection and Automated Tuning for Distributed Training [20.90211684851616]
  Primus Projectionは、できることを計測し、できないことをシミュレートするハイブリッドプロジェクションエンジンである。 スコープ外の集合体、FSDPオーバーラップ、マルチノードターゲットでの完全なパイプラインスケジュールを解析的に復元する。 純粋なシミュレーションモードはCPU上で完全に動作し、GPUを使わずにプリシリコン計画を可能にする。
  論文  参考訳（メタデータ） (2026-10-14T02:15:28Z)
• GPU-Initiated Discrete Simulated Bifurcation: Low-Latency Requests and Streaming Dense Couplings [0.13537117504260623]
  GPUベースの最適化では,頻繁な要求の調整と,デバイスメモリを越える高密度モデルの提供という,2つの通信ボトルネックに直面している。 本稿では,NVIDIA DOCA GPUNetIOによる個別のシミュレーション分岐アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2026-10-05T16:20:06Z)
• Mixture-of-Parallelisms: Towards Memory-Efficient Training Stack for Mixture-of-Experts Models [67.17268530365189]
  本稿では,Mixture-of-Experts(MoE)モデルのためのメモリ効率のトレーニングスタックを紹介する。 さまざまなレイヤやMoEモデルのトレーニングパイプラインのステージにおいて、さまざまな既存および新しい並列処理テクニックを組み合わせて、特殊化する。
  論文  参考訳（メタデータ） (2026-07-02T08:06:57Z)
• LongLive-2.0: An NVFP4 Parallel Infrastructure for Long Video Generation [84.86814271505109]
  LongLive-2.0は、長いビデオ生成の完全なトレーニングと推論ワークフロー全体を通じて、NVFP4ベースの並列インフラストラクチャである。 トレーニングには,quence-parallel autoregressive (AR) トレーニングを導入する。 実験ではトレーニングで2.15倍、推論で1.84倍のスピードアップを示す。
  論文  参考訳（メタデータ） (2026-05-18T17:57:03Z)
• DWDP: Distributed Weight Data Parallelism for High-Performance LLM Inference on NVL72 [8.366071694080269]
  DWDP(Distributed Weight Data Parallelism)は、ピアGPU間でMoE重みをオフロードしながら、データ並列実行を保存する推論並列化戦略である。 さらに、分割重み管理と非同期リモート重み前処理の2つの最適化により、この設計の現実的なオーバーヘッドに対処する。
  論文  参考訳（メタデータ） (2026-04-02T05:00:08Z)
• Horizon-LM: A RAM-Centric Architecture for LLM Training [26.927410607740025]
  Horizon-LMは、大規模なモデル最適化のためにCPUとGPUの役割を再定義するメモリ中心のトレーニングシステムである。 1.5,TBのホストRAMを持つ1つのH200 GPU上で、Horizon-LMは120Bパラメータまでのモデルを確実にトレーニングする。 標準的なシングルA100マシンでは、Horizon-LMはCPUオフロードのDeepSpeed ZeRO-3よりも最大12.2$timesのトレーニングスループットを実現している。
  論文  参考訳（メタデータ） (2026-02-04T18:04:46Z)
• Minute-Long Videos with Dual Parallelisms [57.22737565366549]
  Diffusion Transformer (DiT)ベースのビデオ拡散モデルは、大規模に高品質なビデオを生成するが、長いビデオの処理遅延とメモリコストは禁じられている。 我々はDualParalと呼ばれる新しい分散推論戦略を提案する。 1つのGPUでビデオ全体を生成する代わりに、時間フレームとモデルレイヤの両方をGPU間で並列化します。
  論文  参考訳（メタデータ） (2025-05-27T11:55:22Z)
• Hardware-Aware Parallel Prompt Decoding for Memory-Efficient Acceleration of LLM Inference [23.633481089469836]
  LLM(Large Language Models)の自動回帰デコーディングは、ハードウェアの性能に大きなオーバーヘッドをもたらす。 トレーニング可能なパラメータを0.0002$%しか必要とせず,A100-40GBのGPUをたった16時間で効率的にトレーニングできる並列プロンプトデコーディングを提案する。 我々のアプローチでは、最大2.49$times$ スピードアップを示し、最小のメモリオーバーヘッドは0.0004$%である。
  論文  参考訳（メタデータ） (2024-05-28T22:19:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。