論文の概要: TBA: Faster Large Language Model Training Using SSD-Based Activation Offloading

• arxiv url: http://arxiv.org/abs/2408.10013v1
• Date: Mon, 19 Aug 2024 14:09:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-20 16:03:38.460793
• Title: TBA: Faster Large Language Model Training Using SSD-Based Activation Offloading
• Title（参考訳）: TBA:SSDベースのアクティベーションオフロードによる大規模言語モデルの高速化
• Authors: Kun Wu, Jeongmin Brian Park, Xiaofan Zhang, Mert Hidayetoğlu, Vikram Sharma Mailthody, Sitao Huang, Steven Sam Lumetta, Wen-mei Hwu,
• Abstract要約: TBAは、PyTorch、Megatron、DeepSpeedといった一般的なディープラーニングフレームワークと互換性がある。 TBAはアクティベーションピークメモリ使用量の47%を効果的に削減できることを示す。 同時に、TBAは計算とI/Oを完全にオーバーラップし、無視できるパフォーマンスのオーバーヘッドを発生させる。
• 参考スコア（独自算出の注目度）: 13.283682311968752
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The growth rate of the GPU memory capacity has not been able to keep up with that of the size of large language models (LLMs), hindering the model training process. In particular, activations -- the intermediate tensors produced during forward propagation and reused in backward propagation -- dominate the GPU memory use. To address this challenge, we propose TBA to efficiently offload activations to high-capacity NVMe SSDs. This approach reduces GPU memory usage without impacting performance by adaptively overlapping data transfers with computation. TBA is compatible with popular deep learning frameworks like PyTorch, Megatron, and DeepSpeed, and it employs techniques such as tensor deduplication, forwarding, and adaptive offloading to further enhance efficiency. We conduct extensive experiments on GPT, BERT, and T5. Results demonstrate that TBA effectively reduces 47% of the activation peak memory usage. At the same time, TBA perfectly overlaps the I/O with the computation and incurs negligible performance overhead. We introduce the recompute-offload-keep (ROK) curve to compare the TBA offloading with other two tensor placement strategies, keeping activations in memory and layerwise full recomputation. We find that TBA achieves better memory savings than layerwise full recomputation while retaining the performance of keeping the activations in memory.
• Abstract（参考訳）: GPUメモリ容量の成長速度は、大きな言語モデル(LLM)のサイズに沿うことができず、モデルのトレーニングプロセスを妨げている。 特に、前方伝播中に生成され、後方伝播で再利用される中間テンソルであるアクティベーションが、GPUメモリの使用を支配している。 この課題に対処するため,高容量NVMe SSDの活性化を効率よくオフロードするTBAを提案する。 このアプローチは、データ転送と計算を適応的にオーバーラップすることで、パフォーマンスに影響を与えることなく、GPUメモリの使用を減らす。 TBAは、PyTorch、Megatron、DeepSpeedといった一般的なディープラーニングフレームワークと互換性があり、テンソルの重複、フォワード、適応オフロードといったテクニックを使用して効率をさらに向上する。 GPT,BERT,T5について広範な実験を行った。 その結果,TBAはアクティベーションピークメモリ使用量の47%を効果的に削減できることがわかった。 同時に、TBAは計算とI/Oを完全にオーバーラップし、無視できるパフォーマンスのオーバーヘッドを発生させる。 本稿では,TBAオフロードと他の2つのテンソル配置戦略を比較し,メモリ上のアクティベーションと層単位でのフル再計算を行うために,再計算-オフロード-キープ(ROK)曲線を導入する。 TBAは、メモリにアクティベーションを保持する性能を維持しながら、階層的に完全な再計算よりも優れたメモリ節約を実現する。

関連論文リスト

• Efficiently Training 7B LLM with 1 Million Sequence Length on 8 GPUs [24.066283519769968]
  大規模言語モデル(LLM)は、よりクリエイティブなアプリケーションを促進するために、拡張コンテキスト長を使用して訓練されている。 本稿では,メモリ管理を微粒化するための新しいフレームワークであるMEMOを提案する。 我々は,MEMOがMegatron-LMやDeepSpeedと比較して平均2.42倍,2.26倍のMFUを達成することを示す。
  論文  参考訳（メタデータ） (2024-07-16T18:59:49Z)
• Reducing Fine-Tuning Memory Overhead by Approximate and Memory-Sharing Backpropagation [29.139579820699495]
  この研究は、活性化関数と層正規化の観点から微調整におけるメモリオーバーヘッドを低減することを目的としている。 提案手法をバックプロパゲーショントレーニングに適用し,GELUおよびSiLU活性化関数のメモリ効率の代替を導出する。 さらに、メモリ共有バックプロパゲーション戦略を導入し、アクティベーションメモリを2つの隣接層で共有できるようにする。
  論文  参考訳（メタデータ） (2024-06-24T03:09:15Z)
• Contractive error feedback for gradient compression [60.05809370598166]
  本稿では,ConEF(Contractive error feedback)と呼ばれる通信効率のよい手法を提案する。 メモリを効率よく管理しないエラーフィードバック(EFSGD)を持つSGDとは対照的に、ConEFはコンバージェンスとメモリ使用率のスイートスポットを取得する。 我々は、画像分類、言語モデリング、機械翻訳を含む様々な学習タスクにおいて、ConEFを実証的に検証する。
  論文  参考訳（メタデータ） (2023-12-13T21:54:21Z)
• Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
  分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。 我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-05-24T15:52:08Z)
• MobileTL: On-device Transfer Learning with Inverted Residual Blocks [14.305834934988185]
  Inverted Residual Blocks (IRB) を用いたモデル転送学習手法であるMobileTLを提案する。 MobileTLは、下位パスのアクティベーションマップの保存を避けるために、内部正規化レイヤのシフトをトレーニングする。 提案手法は,MobileNetV2 と V3 IRB のメモリ使用量をそれぞれ 46% と 53% に削減する。
  論文  参考訳（メタデータ） (2022-12-05T23:07:55Z)
• Tempo: Accelerating Transformer-Based Model Training through Memory Footprint Reduction [3.5831119917067737]
  本研究では,Transformerベースのモデルのトレーニングにアクセラレーションメモリリソースを効率的に利用するための新しいアプローチであるTempoを提案する。 このアプローチは、GELU、LayerNorm、Attentionレイヤのドロップイン置換を提供し、メモリ使用量を削減します。 我々はTempoが最先端のベースラインよりも最大2倍高いバッチサイズと16%高いトレーニングスループットを実現することを実証した。
  論文  参考訳（メタデータ） (2022-10-19T01:59:37Z)
• DIVISION: Memory Efficient Training via Dual Activation Precision [60.153754740511864]
  最先端の研究は、量子化ビット幅の探索とトレーニングを組み合わせることで、手順を複雑にし、透明性を損なう。 そこで本研究では,DNNトレーニングを簡易かつ効果的に圧縮する手法を提案する。 実験結果によると、DIVISIONは10倍以上のアクティベーションマップの圧縮や、モデルの精度を損なうことなく、競争訓練のスループットなど、最先端の手法よりも総合的な性能を示している。
  論文  参考訳（メタデータ） (2022-08-05T03:15:28Z)
• Mesa: A Memory-saving Training Framework for Transformers [58.78933015299703]
  本稿では,トランスフォーマーのためのメモリ節約トレーニングフレームワークであるMesaを紹介する。 Mesaは、フォワードパス中に正確なアクティベーションを使用し、低精度のアクティベーションを格納することで、トレーニング中のメモリ消費を減らす。 ImageNet、CIFAR-100、ADE20Kの実験は、Mesaがトレーニング中にメモリフットプリントの半分を削減できることを示した。
  論文  参考訳（メタデータ） (2021-11-22T11:23:01Z)
• Improving Computational Efficiency in Visual Reinforcement Learning via Stored Embeddings [89.63764845984076]
  効率的な強化学習のためのストアド埋め込み(SEER)について紹介します。 SEERは、既存の非政治深層強化学習方法の簡単な修正です。 計算とメモリを大幅に節約しながら、SEERがRLizableエージェントのパフォーマンスを低下させないことを示します。
  論文  参考訳（メタデータ） (2021-03-04T08:14:10Z)
• SmartDeal: Re-Modeling Deep Network Weights for Efficient Inference and Training [82.35376405568975]
  ディープニューラルネットワーク(DNN)は重いパラメータ化を伴い、ストレージ用の外部動的ランダムアクセスメモリ(DRAM)につながります。 We present SmartDeal (SD), a algorithm framework to trade high-cost memory storage/ access for lower-cost compute。 SDは貯蔵および訓練エネルギーの10.56xそして4.48x減少、最先端の訓練のベースラインと比較される無視可能な正確さの損失をもたらすことを示します。
  論文  参考訳（メタデータ） (2021-01-04T18:54:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。