論文の概要: SSDTrain: An Activation Offloading Framework to SSDs for Faster Large Language Model Training

• arxiv url: http://arxiv.org/abs/2408.10013v2
• Date: Sat, 15 Feb 2025 22:39:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 20:34:44.32937
• Title: SSDTrain: An Activation Offloading Framework to SSDs for Faster Large Language Model Training
• Title（参考訳）: SSDTrain: 高速な大規模言語モデルトレーニングのためのSSDへのアクティベーションオフロードフレームワーク
• Authors: Kun Wu, Jeongmin Brian Park, Xiaofan Zhang, Mert Hidayetoğlu, Vikram Sharma Mailthody, Sitao Huang, Steven Sam Lumetta, Wen-mei Hwu,
• Abstract要約: SSDTrainは、高容量GPUメモリにオフロードするアダプティブアクティベーションフレームワークである。 PyTorch、Megatron、DeepSpeedといった一般的なディープラーニングフレームワークと互換性がある。 その結果、SSDTrainはアクティベーションピークメモリ使用量の47%を削減した。
• 参考スコア（独自算出の注目度）: 13.283682311968752
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The growth rate of the GPU memory capacity has not been able to keep up with that of the size of large language models (LLMs), hindering the model training process. In particular, activations -- the intermediate tensors produced during forward propagation and reused in backward propagation -- dominate the GPU memory use. This leads to high training overhead such as high weight update cost due to the small micro-batch size. To address this challenge, we propose SSDTrain, an adaptive activation offloading framework to high-capacity NVMe SSDs. SSDTrain reduces GPU memory usage without impacting performance by fully overlapping data transfers with computation. SSDTrain is compatible with popular deep learning frameworks like PyTorch, Megatron, and DeepSpeed, and it employs techniques such as tensor deduplication and forwarding to further enhance efficiency. We extensively experimented with popular LLMs like GPT, BERT, and T5. Results demonstrate that SSDTrain reduces 47% of the activation peak memory usage. Meanwhile, SSDTrain perfectly overlaps the I/O with the computation and incurs negligible overhead. Compared with keeping activations in GPU memory and layerwise full recomputation, SSDTrain achieves the best memory savings with negligible throughput loss. We further analyze how the reduced activation memory use may be leveraged to increase throughput by increasing micro-batch size and reducing pipeline parallelism bubbles.
• Abstract（参考訳）: GPUメモリ容量の成長速度は、大きな言語モデル(LLM)のサイズに沿うことができず、モデルのトレーニングプロセスを妨げている。 特に、前方伝播中に生成され、後方伝播で再利用される中間テンソルであるアクティベーションが、GPUメモリの使用を支配している。 これにより、マイクロバッチサイズが小さいため、重量更新コストが高くなるなど、トレーニングのオーバーヘッドが高くなる。 そこで本研究では,高容量NVMe SSDへの適応型アクティベーションオフロードフレームワークであるSSDTrainを提案する。 SSDTrainは、完全にオーバーラップしたデータ転送と計算によって、パフォーマンスに影響を与えることなく、GPUメモリ使用量を削減する。 SSDTrainは、PyTorch、Megatron、DeepSpeedといった一般的なディープラーニングフレームワークと互換性があり、テンソルの重複やフォワードといったテクニックを使用して効率をさらに向上する。 GPT,BERT,T5などのLLMを広範囲に実験した。 その結果、SSDTrainはアクティベーションピークメモリ使用量の47%を削減した。 一方、SSDTrainは計算によってI/Oを完全にオーバーラップし、無視できないオーバーヘッドを発生させる。 SSDTrainはGPUメモリのアクティベーションを保ち、階層的に完全に再計算するのに比べ、絶対的なスループット損失で最高のメモリ節約を達成する。 さらに、マイクロバッチサイズを増大させ、パイプライン並列化バブルを減少させることでスループットを向上させるために、アクティベーションメモリ使用量の削減がどのように活用されるかを分析する。

関連論文リスト

• Exploring the Benefit of Activation Sparsity in Pre-training [117.25661020250658]
  プレトレーニング中に活性化特性がどう変化するかを検討した。 本稿では,Sparse-Dense Learning (SSD)を提案する。 SSDは同じモデルサイズで同等のパフォーマンスを実現し、事前トレーニングコストを削減する。
  論文  参考訳（メタデータ） (2024-10-04T13:53:33Z)
• InstInfer: In-Storage Attention Offloading for Cost-Effective Long-Context LLM Inference [10.115950753431528]
  大規模言語モデル(LLM)は、生成AIにおいて重要なマイルストーンである。 オフラインLLM推論におけるコンテキスト長とバッチサイズの増加は、キー値(KV)キャッシュのメモリ要求をエスカレートする。 いくつかのコスト効率の良いソリューションは、ホストメモリを利用するか、オフラインの推論シナリオのストレージコストを削減するよう最適化されている。 InstInferは、最も性能クリティカルな計算(つまり、復号フェーズにおける注意)とデータ(すなわちKVキャッシュ)を計算ストレージドライブ(CSD)にオフロードする。 InstInferがロングシーケンス推論のためのスループットを改善
  論文  参考訳（メタデータ） (2024-09-08T06:06:44Z)
• Efficiently Training 7B LLM with 1 Million Sequence Length on 8 GPUs [24.066283519769968]
  大規模言語モデル(LLM)は、よりクリエイティブなアプリケーションを促進するために、拡張コンテキスト長を使用して訓練されている。 本稿では,メモリ管理を微粒化するための新しいフレームワークであるMEMOを提案する。 我々は,MEMOがMegatron-LMやDeepSpeedと比較して平均2.42倍,2.26倍のMFUを達成することを示す。
  論文  参考訳（メタデータ） (2024-07-16T18:59:49Z)
• Reducing Fine-Tuning Memory Overhead by Approximate and Memory-Sharing Backpropagation [29.139579820699495]
  この研究は、活性化関数と層正規化の観点から微調整におけるメモリオーバーヘッドを低減することを目的としている。 提案手法をバックプロパゲーショントレーニングに適用し,GELUおよびSiLU活性化関数のメモリ効率の代替を導出する。 さらに、メモリ共有バックプロパゲーション戦略を導入し、アクティベーションメモリを2つの隣接層で共有できるようにする。
  論文  参考訳（メタデータ） (2024-06-24T03:09:15Z)
• ProTrain: Efficient LLM Training via Memory-Aware Techniques [18.30799115938978]
  本稿では,メモリ,計算,IOの調整によってメモリ使用量と性能のバランスをとる新しいトレーニングシステムであるProTrainを提案する。 ProTrainは、SOTAのトレーニングシステムと比較して、トレーニングのスループットを1.43$times$から2.71$timesに改善する。
  論文  参考訳（メタデータ） (2024-06-12T15:40:06Z)
• S3D: A Simple and Cost-Effective Self-Speculative Decoding Scheme for Low-Memory GPUs [7.816840847892339]
  投機的復号法(SD)は、LLM推論で実現可能な相当な高速化のために、かなりの量の研究の注目を集めている。 本研究では,Skippy Simultaneous Speculative Decoding (S3D)を提案する。 提案手法は,最小限のアーキテクチャ変更とデータトレーニングを必要としながら,最高のパフォーマンス・メモリ比の1つを達成した。
  論文  参考訳（メタデータ） (2024-05-30T17:54:35Z)
• GaLore: Memory-Efficient LLM Training by Gradient Low-Rank Projection [133.45193150403537]
  LLM(Large Language Models)のトレーニングは、重み付けやGPU状態の増大によって、メモリ上の重大な問題が発生する。 本研究では,メモリ効率のトレーニング戦略としてグラディエント・ローランド・プロジェクション(GaLore)を提案する。 私たちの8ビットのGaLoreは、BF16ベースラインと比較して、メモリを82.5%、トレーニング総メモリを63.3%削減します。
  論文  参考訳（メタデータ） (2024-03-06T07:29:57Z)
• Contractive error feedback for gradient compression [60.05809370598166]
  本稿では,ConEF(Contractive error feedback)と呼ばれる通信効率のよい手法を提案する。 メモリを効率よく管理しないエラーフィードバック(EFSGD)を持つSGDとは対照的に、ConEFはコンバージェンスとメモリ使用率のスイートスポットを取得する。 我々は、画像分類、言語モデリング、機械翻訳を含む様々な学習タスクにおいて、ConEFを実証的に検証する。
  論文  参考訳（メタデータ） (2023-12-13T21:54:21Z)
• Fast Machine Unlearning Without Retraining Through Selective Synaptic Dampening [51.34904967046097]
  Selective Synaptic Dampening (SSD)は高速で、訓練データの長期保存を必要としない。 高速で性能が高く,トレーニングデータの長期保存を必要としない,新しい2段階のポストホック,リトレーニングフリーなマシンアンラーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-08-15T11:30:45Z)
• Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
  分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。 我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-05-24T15:52:08Z)
• MobileTL: On-device Transfer Learning with Inverted Residual Blocks [14.305834934988185]
  Inverted Residual Blocks (IRB) を用いたモデル転送学習手法であるMobileTLを提案する。 MobileTLは、下位パスのアクティベーションマップの保存を避けるために、内部正規化レイヤのシフトをトレーニングする。 提案手法は,MobileNetV2 と V3 IRB のメモリ使用量をそれぞれ 46% と 53% に削減する。
  論文  参考訳（メタデータ） (2022-12-05T23:07:55Z)
• Tempo: Accelerating Transformer-Based Model Training through Memory Footprint Reduction [3.5831119917067737]
  本研究では,Transformerベースのモデルのトレーニングにアクセラレーションメモリリソースを効率的に利用するための新しいアプローチであるTempoを提案する。 このアプローチは、GELU、LayerNorm、Attentionレイヤのドロップイン置換を提供し、メモリ使用量を削減します。 我々はTempoが最先端のベースラインよりも最大2倍高いバッチサイズと16%高いトレーニングスループットを実現することを実証した。
  論文  参考訳（メタデータ） (2022-10-19T01:59:37Z)
• DIVISION: Memory Efficient Training via Dual Activation Precision [60.153754740511864]
  最先端の研究は、量子化ビット幅の探索とトレーニングを組み合わせることで、手順を複雑にし、透明性を損なう。 そこで本研究では,DNNトレーニングを簡易かつ効果的に圧縮する手法を提案する。 実験結果によると、DIVISIONは10倍以上のアクティベーションマップの圧縮や、モデルの精度を損なうことなく、競争訓練のスループットなど、最先端の手法よりも総合的な性能を示している。
  論文  参考訳（メタデータ） (2022-08-05T03:15:28Z)
• On-Device Training Under 256KB Memory [62.95579393237751]
  本稿では,256KBのメモリでデバイス上でのトレーニングを可能にするアルゴリズム・システム協調設計フレームワークを提案する。 私たちのフレームワークは256KBと1MBのFlashで畳み込みニューラルネットワークのデバイス上での小さなトレーニングを可能にする最初のソリューションです。
  論文  参考訳（メタデータ） (2022-06-30T17:59:08Z)
• Mesa: A Memory-saving Training Framework for Transformers [58.78933015299703]
  本稿では,トランスフォーマーのためのメモリ節約トレーニングフレームワークであるMesaを紹介する。 Mesaは、フォワードパス中に正確なアクティベーションを使用し、低精度のアクティベーションを格納することで、トレーニング中のメモリ消費を減らす。 ImageNet、CIFAR-100、ADE20Kの実験は、Mesaがトレーニング中にメモリフットプリントの半分を削減できることを示した。
  論文  参考訳（メタデータ） (2021-11-22T11:23:01Z)
• Improving Computational Efficiency in Visual Reinforcement Learning via Stored Embeddings [89.63764845984076]
  効率的な強化学習のためのストアド埋め込み(SEER)について紹介します。 SEERは、既存の非政治深層強化学習方法の簡単な修正です。 計算とメモリを大幅に節約しながら、SEERがRLizableエージェントのパフォーマンスを低下させないことを示します。
  論文  参考訳（メタデータ） (2021-03-04T08:14:10Z)
• SmartDeal: Re-Modeling Deep Network Weights for Efficient Inference and Training [82.35376405568975]
  ディープニューラルネットワーク(DNN)は重いパラメータ化を伴い、ストレージ用の外部動的ランダムアクセスメモリ(DRAM)につながります。 We present SmartDeal (SD), a algorithm framework to trade high-cost memory storage/ access for lower-cost compute。 SDは貯蔵および訓練エネルギーの10.56xそして4.48x減少、最先端の訓練のベースラインと比較される無視可能な正確さの損失をもたらすことを示します。
  論文  参考訳（メタデータ） (2021-01-04T18:54:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。