論文の概要: GreedySnake: Accelerating SSD-Offloaded LLM Training with Efficient Scheduling and Optimizer Step Overlapping

• arxiv url: http://arxiv.org/abs/2512.17570v1
• Date: Fri, 19 Dec 2025 13:36:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-22 19:25:54.404035
• Title: GreedySnake: Accelerating SSD-Offloaded LLM Training with Efficient Scheduling and Optimizer Step Overlapping
• Title（参考訳）: GreedySnake: 効率的なスケジューリングと最適化ステップオーバーラップによるSSD-Offloaded LLMトレーニングの高速化
• Authors: Yikang Yue, Yishu Yin, Xuehai Qian,
• Abstract要約: 本稿では,垂直スケジューリングを利用したSSDオフロードトレーニングシステムであるGreedySnakeを紹介する。 水平スケジューリングを使用する既存のシステムと比較して、GreedySnakeはバッチサイズを小さくして、より高いトレーニングスループットを実現している。
• 参考スコア（独自算出の注目度）: 3.3268565774204704
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: SSD-offloaded training offers a practical and promising approach to making LLM training cost-effective. Building on gradient accumulation with micro-batches, this paper introduces GreedySnake, a new SSD-offloaded training system that employs vertical scheduling, which executes all microbatches of a layer before proceeding to the next. Compared to existing systems that use horizontal scheduling (i.e., executing micro-batches sequentially), GreedySnake achieves higher training throughput with smaller batch sizes, bringing the system much closer to the ideal scenario predicted by the roofline model. To further mitigate the I/O bottleneck, GreedySnake overlaps part of the optimization step with the forward pass of the next iteration. Experimental results on A100 GPUs show that GreedySnake achieves saturated training throughput improvements over ZeRO-Infinity: 1.96x on 1 GPU and 1.93x on 4 GPUs for GPT-65B, and 2.53x on 1 GPU for GPT-175B. The code is open-sourced at https://github.com/npz7yyk/GreedySnake
• Abstract（参考訳）: SSDオフロードトレーニングは、LCMトレーニングをコスト効率良くするための実用的で有望なアプローチを提供する。 マイクロバッチによる勾配蓄積を基盤として,垂直スケジューリングを用いたSSDオフロードトレーニングシステムであるGreedySnakeを導入する。 水平スケジューリング(例えば、マイクロバッチのシーケンシャルな実行)を使用する既存のシステムと比較して、GreedySnakeはより少ないバッチサイズでより高いトレーニングスループットを達成し、屋上モデルによって予測される理想的なシナリオにシステムをはるかに近づける。 I/Oボトルネックをさらに緩和するため、GreedySnakeは最適化ステップの一部と次のイテレーションの前方パスをオーバーラップする。 A100 GPUの実験的結果は、GreedySnakeがZeRO-Infinityよりも飽和トレーニングスループットの改善を実現していることを示している:1GPUの1.96倍、GPT-65Bの4GPUの1.93倍、GPT-175Bの1GPUの2.53倍。 コードはhttps://github.com/npz7yyk/GreedySnakeで公開されている。

関連論文リスト

• Cost-Efficient LLM Training with Lifetime-Aware Tensor Offloading via GPUDirect Storage [9.106167012987747]
  TERAIOは低コストPCIeベースのソリッドステートドライブ(SSD)を用いたGPUメモリ拡張のためのフレームワーク その設計は、各大規模言語反復訓練プロセスにおいて、アクティブテンソルが割り当てられたGPUメモリのごく一部(平均1.7%)しか取らないという我々の観察によって進められている。 TERAIO は様々な LLM のトレーニング性能を平均 1.47 倍改善し,理想性能の 80.7% を達成している。
  論文  参考訳（メタデータ） (2025-06-06T18:57:20Z)
• ZO2: Scalable Zeroth-Order Fine-Tuning for Extremely Large Language Models with Limited GPU Memory [29.245719403159615]
  限られたGPUメモリしか持たないLLMの高効率ゼロオーダー微調整のための新しいフレームワークZO2を提案する。 我々のフレームワークは、CPUとGPU間のデータ交換を合理化するAMPモードにおける革新的な低ビット精度アプローチをサポートしている。
  論文  参考訳（メタデータ） (2025-03-16T21:58:29Z)
• Democratizing AI: Open-source Scalable LLM Training on GPU-based Supercomputers [65.35142508909892]
  AxoNNと呼ばれる,スケーラブルでポータブルなオープンソースフレームワークで実装された新しい4次元ハイブリッド並列アルゴリズムを提案する。 本稿では,Frontier 上で AxoNN を用いて405ビリオンパラメータ LLM の微調整を行う。
  論文  参考訳（メタデータ） (2025-02-12T06:05:52Z)
• APOLLO: SGD-like Memory, AdamW-level Performance [61.53444035835778]
  大規模言語モデル(LLM)は、トレーニング中にメモリ集約的であることで知られている。 メモリ使用量を減らすために、様々なメモリ効率のScalが提案されている。 i)コストのかかるSVDオペレーション、(ii)AdamWと比較して大きなパフォーマンストレードオフ、(iii)競争性能を維持する上でのメモリオーバーヘッド、などです。
  論文  参考訳（メタデータ） (2024-12-06T18:55:34Z)
• Grass: Compute Efficient Low-Memory LLM Training with Structured Sparse Gradients [24.58231358634904]
  大規模言語モデル(LLM)のトレーニングと微調整は、しばしば限られたGPUメモリによってボトルネックとなる。 グラス(GRAdient Stuctured Sparsification,GRAdient Stuctured Sparsification,GRAdient Stuctured Sparsification)は、スパースプロジェクションを利用して勾配を構造化されたスパース更新に変換する新しい手法である。
  論文  参考訳（メタデータ） (2024-06-25T15:50:32Z)
• Hardware-Aware Parallel Prompt Decoding for Memory-Efficient Acceleration of LLM Inference [23.633481089469836]
  LLM(Large Language Models)の自動回帰デコーディングは、ハードウェアの性能に大きなオーバーヘッドをもたらす。 トレーニング可能なパラメータを0.0002$%しか必要とせず,A100-40GBのGPUをたった16時間で効率的にトレーニングできる並列プロンプトデコーディングを提案する。 我々のアプローチでは、最大2.49$times$ スピードアップを示し、最小のメモリオーバーヘッドは0.0004$%である。
  論文  参考訳（メタデータ） (2024-05-28T22:19:30Z)
• Breaking MLPerf Training: A Case Study on Optimizing BERT [9.486916730173661]
  本稿では,BERTモデルの高速大規模学習のための新しいアプローチを提案する。 分散BERTトレーニングは、様々な長さのサンプルによって特徴付けられるため、ロードバランシングが不可欠である。 本稿では,1)負荷分散のためのデータセット階層化に基づく局所的事前ソートと,(2)帰納前のバケットワイド勾配クリッピングという2つの新しいアイデアを提案する。
  論文  参考訳（メタデータ） (2024-02-04T11:12:17Z)
• Large-Scale Training System for 100-Million Classification at Alibaba [43.58719630882661]
  極度の分類は 深層学習に欠かせない話題になっています 最後の出力層におけるメモリと爆発のため、数百万のクラスでディープモデルをトレーニングするのは非常に困難です。 トレーニングプロセスを実現可能にするために、ハイブリッド並列トレーニングフレームワークを構築しています。 第2に,GPUメモリ使用量と計算コストの両方を削減するKNNソフトマックスという新しいソフトマックス変種を提案する。
  論文  参考訳（メタデータ） (2021-02-09T06:53:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。