論文の概要: Deep Optimizer States: Towards Scalable Training of Transformer Models Using Interleaved Offloading

• arxiv url: http://arxiv.org/abs/2410.21316v1
• Date: Sat, 26 Oct 2024 00:43:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-30 13:41:14.269424
• Title: Deep Optimizer States: Towards Scalable Training of Transformer Models Using Interleaved Offloading
• Title（参考訳）: Deep Optimizer States: インターリーブオフロードによるトランスフォーマーモデルのスケーラブルなトレーニングを目指して
• Authors: Avinash Maurya, Jie Ye, M. Mustafa Rafique, Franck Cappello, Bogdan Nicolae,
• Abstract要約: トランスフォーマーと大規模言語モデル(LLM)は、すべてのドメインで急速に採用されている。 変圧器の訓練は非常に高価で、しばしば記憶壁にぶつかる」 本稿では,LLMをCPUまたはGPU上で更新フェーズをスケジュールしたサブグループに分割する手法を提案する。
• 参考スコア（独自算出の注目度）: 2.8231000588510757
• License:
• Abstract: Transformers and large language models~(LLMs) have seen rapid adoption in all domains. Their sizes have exploded to hundreds of billions of parameters and keep increasing. Under these circumstances, the training of transformers is very expensive and often hits a ``memory wall'', i.e., even when using 3D parallelism (pipeline, tensor, data) and aggregating the memory of many GPUs, it is still not enough to hold the necessary data structures (model parameters, optimizer state, gradients, activations) in GPU memory. To compensate, state-of-the-art approaches offload the optimizer state, at least partially, to the host memory and perform hybrid CPU-GPU computations. However, the management of the combined host-GPU memory is often suboptimal and results in poor overlapping between data movements and computations. This leads to missed opportunities to simultaneously leverage the interconnect bandwidth and computational capabilities of CPUs and GPUs. In this paper, we leverage a key observation that the interleaving of the forward, backward and update phases generate fluctuations in the GPU memory utilization, which can be exploited to dynamically move a part of the optimizer state between the host and the GPU memory at each iteration. To this end, we design and implement \proj, a novel technique to split the LLM into subgroups, whose update phase is scheduled on either the CPU or the GPU based on our proposed performance model that addresses the trade-off between data movement cost, acceleration on the GPUs vs the CPUs, and competition for shared resources. We integrate our approach with DeepSpeed and demonstrate 2.5$\times$ faster iterations over state-of-the-art approaches using extensive experiments.
• Abstract（参考訳）: トランスフォーマーと大きな言語モデル~(LLM)は、すべてのドメインで急速に採用されている。 その大きさは数十億のパラメータに爆発し続けています。 このような状況下では、トランスフォーマーのトレーニングは非常に高価であり、3D並列処理(パイプ、テンソル、データ)を使用して多くのGPUのメモリを集約しても、GPUメモリに必要なデータ構造(モデルパラメータ、オプティマイザ状態、勾配、アクティベーション)を保持するのに十分ではない。 補償するために、State-of-the-artアプローチは最適化された状態を少なくとも部分的にホストメモリにオフロードし、ハイブリッドCPU-GPU計算を実行する。 しかし、ホスト-GPUメモリの組み合わせの管理は、しばしば準最適であり、結果としてデータの動きと計算の重なりが悪くなる。 これにより、CPUとGPUの相互接続帯域幅と計算能力を同時に活用する機会が失われる。 本稿では,GPUメモリ利用における前・後・更新フェーズのインターリーブが変動を生じさせるという重要な観測を活用し,各イテレーションにおいてホストとGPUメモリ間の最適化状態の一部を動的に移動させる。 そこで我々は,データ移動コストのトレードオフ,GPUとCPUの高速化,共有リソースの競合に対処する,提案したパフォーマンスモデルに基づいて,その更新フェーズをCPUまたはGPU上でスケジュールしたサブグループに分割する新しいテクニックである \proj を設計,実装する。 当社のアプローチをDeepSpeedに統合し、広範囲な実験を用いて、最先端のアプローチよりも2.5$\times$高速なイテレーションを実演しています。

関連論文リスト

• Efficient LLM Inference with I/O-Aware Partial KV Cache Recomputation [7.204881999658682]
  大規模言語モデル(LLM)の推論は計算的に要求される。 自動回帰デコーディングのコストを削減するため、キーバリュー(KV)キャッシングは中間アクティベーションを格納するために使用される。 KVキャッシュに必要なメモリは急速に増加し、しばしばGPUメモリの容量を超える。 コスト効率のよい代替手段は、KVキャッシュをCPUメモリにオフロードすることであり、これはGPUメモリの圧力を軽減するが、ボトルネックをCPUとGPU間のPCIe接続の限られた帯域にシフトさせる。
  論文  参考訳（メタデータ） (2024-11-26T04:03:14Z)
• Less Memory Means smaller GPUs: Backpropagation with Compressed Activations [1.7065506903618906]
  深層ニューラルネットワーク(DNN)の規模は、計算リソースの要件が等しく急速に増大している。 最近の多くのアーキテクチャ、特にLarge Language Modelsは、何千ものアクセラレーターを持つスーパーコンピュータを使って訓練されなければならない。 このアプローチにより、より長いトレーニングスケジュールのコストで、ピークメモリ使用量を29%削減することが可能になります。
  論文  参考訳（メタデータ） (2024-09-18T11:57:05Z)
• vTensor: Flexible Virtual Tensor Management for Efficient LLM Serving [53.972175896814505]
  大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。 大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。
  論文  参考訳（メタデータ） (2024-07-22T14:37:58Z)
• Efficient Video Object Segmentation via Modulated Cross-Attention Memory [123.12273176475863]
  頻繁なメモリ拡張を必要とせず、時間的滑らかさをモデル化するトランスフォーマーベースの手法MAVOSを提案する。 我々のMAVOSは、単一のV100 GPU上で37フレーム/秒(FPS)で動作しながら、J&Fスコア63.3%を達成する。
  論文  参考訳（メタデータ） (2024-03-26T17:59:58Z)
• FusionAI: Decentralized Training and Deploying LLMs with Massive Consumer-Level GPUs [57.12856172329322]
  我々は、巨大な未使用のコンシューマレベルのGPUをアンロックする分散システムを構想する。 このシステムは、CPUとGPUメモリの制限、ネットワーク帯域幅の低さ、ピアとデバイスの多様性など、重要な課題に直面している。
  論文  参考訳（メタデータ） (2023-09-03T13:27:56Z)
• An Analysis of Collocation on GPUs for Deep Learning Training [0.0]
  マルチインスタンスGPU(MIG)はNVIDIAが導入した新しい技術で、GPUをより良いワークロードに分割することができる。 本稿では,MIG対応A100 GPUの各種サイズとモデルの組み合わせを含むディープラーニングワークロードにおける性能について検討する。
  論文  参考訳（メタデータ） (2022-09-13T14:13:06Z)
• PLSSVM: A (multi-)GPGPU-accelerated Least Squares Support Vector Machine [68.8204255655161]
  Support Vector Machines (SVM) は機械学習で広く使われている。 しかし、現代的で最適化された実装でさえ、最先端ハードウェア上の大きな非自明な高密度データセットにはうまくスケールしない。 PLSSVMはLVMのドロップイン代替として使用できる。
  論文  参考訳（メタデータ） (2022-02-25T13:24:23Z)
• Adaptive Elastic Training for Sparse Deep Learning on Heterogeneous Multi-GPU Servers [65.60007071024629]
  本稿では,Adaptive SGDが4つの最先端ソリューションよりも精度が高いことを示す。 本稿では,Adaptive SGDが時間と精度で4つの最先端ソリューションより優れていることを示す。
  論文  参考訳（メタデータ） (2021-10-13T20:58:15Z)
• Efficient and Generic 1D Dilated Convolution Layer for Deep Learning [52.899995651639436]
  幅広いパラメータをカバーする汎用的な1D畳み込み層の効率的な実装を紹介します。 特にIntel AVX-512とAVX-512 BFloat16命令を含むアーキテクチャ向けに最適化されている。 本稿では,最適化された1次元畳み込み層の性能を,実際のゲノミクスデータセットを用いたエンドツーエンドニューラルネットワークトレーニングで実証する。
  論文  参考訳（メタデータ） (2021-04-16T09:54:30Z)
• GPU-Accelerated Primal Learning for Extremely Fast Large-Scale Classification [10.66048003460524]
  ロジスティック回帰や線形サポートベクターマシン(SVM)分類などのL2正規化原始問題を解く最も効率的な方法の1つは、広く使われている信頼領域ニュートンアルゴリズムであるTRONである。 我々は、GPU最適化の法則を用いて、異なる損失と特徴表現に対するTRONトレーニング時間を劇的に短縮できることを示した。
  論文  参考訳（メタデータ） (2020-08-08T03:40:27Z)
• Heterogeneous CPU+GPU Stochastic Gradient Descent Algorithms [1.3249453757295084]
  ヘテロジニアスCPU+GPUアーキテクチャの深層学習のためのトレーニングアルゴリズムについて検討する。 私たちの2倍の目標 -- 収束率と資源利用を同時に最大化する -- は、この問題を難しくします。 これらのアルゴリズムの実装は,複数の実データセットよりも高速な収束と資源利用の両立を実現していることを示す。
  論文  参考訳（メタデータ） (2020-04-19T05:21:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。