Fugu-MT 論文翻訳(概要): SDP4Bit: Toward 4-bit Communication Quantization in Sharded Data Parallelism for LLM Training

論文の概要: SDP4Bit: Toward 4-bit Communication Quantization in Sharded Data Parallelism for LLM Training

arxiv url: http://arxiv.org/abs/2410.15526v2
Date: Sat, 23 Nov 2024 20:53:48 GMT
ステータス: 翻訳完了
システム内更新日: 2024-11-26 14:14:02.493585
Title: SDP4Bit: Toward 4-bit Communication Quantization in Sharded Data Parallelism for LLM Training
Title（参考訳）: SDP4Bit: LLMトレーニングのためのシャードデータ並列処理における4ビット通信量子化に向けて
Authors: Jinda Jia, Cong Xie, Hanlin Lu, Daoce Wang, Hao Feng, Chengming Zhang, Baixi Sun, Haibin Lin, Zhi Zhang, Xin Liu, Dingwen Tao,
Abstract要約: 分散トレーニング、特にSharded Data Parallelism(ShardedDP)は、トレーニング時間とメモリ使用量を軽減する重要なテクニックとして登場した。 ShardedDPのスケーラビリティにおける大きな課題は、重みと勾配の集中的なコミュニケーションである。本稿では,2つの新しい手法により,重みと勾配の通信を4ビット程度に効果的に削減するSDP4Bitを提案する。
参考スコア（独自算出の注目度）: 14.668492780934336
License:
Abstract: Recent years have witnessed a clear trend towards language models with an ever-increasing number of parameters, as well as the growing training overhead and memory usage. Distributed training, particularly through Sharded Data Parallelism (ShardedDP) which partitions optimizer states among workers, has emerged as a crucial technique to mitigate training time and memory usage. Yet, a major challenge in the scalability of ShardedDP is the intensive communication of weights and gradients. While compression techniques can alleviate this issue, they often result in worse accuracy. Driven by this limitation, we propose SDP4Bit (Toward 4Bit Communication Quantization in Sharded Data Parallelism for LLM Training), which effectively reduces the communication of weights and gradients to nearly 4 bits via two novel techniques: quantization on weight differences, and two-level gradient smooth quantization. Furthermore, SDP4Bit presents an algorithm-system co-design with runtime optimization to minimize the computation overhead of compression. In addition to the theoretical guarantees of convergence, we empirically evaluate the accuracy of SDP4Bit on the pre-training of GPT models with up to 6.7 billion parameters, and the results demonstrate a negligible impact on training loss. Furthermore, speed experiments show that SDP4Bit achieves up to 4.08$\times$ speedup in end-to-end throughput on a scale of 128 GPUs.
Abstract（参考訳）: 近年、パラメータが増え続ける言語モデルや、トレーニングオーバーヘッドやメモリ使用量の増加など、明らかな傾向が見られた。特にSharded Data Parallelism(ShardedDP)による分散トレーニングは、トレーニング時間とメモリ使用を緩和する重要なテクニックとして、労働者間でオプティマイザ状態をパーティショニングする。しかし、ShardedDPのスケーラビリティにおける大きな課題は、重みと勾配の集中的なコミュニケーションである。圧縮技術はこの問題を軽減することができるが、しばしばより正確な結果をもたらす。この制限により,SDP4Bit (Toward 4Bit Communication Quantization in Sharded Data Parallelism for LLM Training) は,重みと勾配の通信を,重みの量子化と2段階スムーズな量子化という2つの新しい手法により,効果的に4ビット程度に削減する。さらに、SDP4Bitは、圧縮の計算オーバーヘッドを最小限に抑えるために、実行時最適化を伴うアルゴリズム-システム共設計を提案する。収束の理論的保証に加えて、最大67億のパラメータを持つGPTモデルの事前学習におけるSDP4Bitの精度を実証的に評価し、トレーニング損失に対する無視的な影響を示した。さらに、SDP4Bitは最大4.08$\times$ エンドツーエンドのスループットを128GPUで達成している。

関連論文リスト

SLiM: One-shot Quantized Sparse Plus Low-rank Approximation of LLMs [2.7624021966289605]
大規模言語モデル(LLM)は、自然言語の理解と生成タスクに革命をもたらした。 LLMは、大きなパラメータサイズのため、メモリ消費が高く、推論時間が遅い。本稿では,1ショットの量子スパースプラス低ランク近似を用いたLEMの圧縮手法であるSLiMを紹介する。
論文参考訳（メタデータ） (2024-10-12T18:36:07Z)
S-STE: Continuous Pruning Function for Efficient 2:4 Sparse Pre-training [20.113352600259226]
S-STEは,2:4スパースに連続的に重みを投影し,テンソルごとの固定スケーリング係数でスパース重みを再スケールする,シンプルな2:4トレーニング手法である。その結果,提案手法は以前の2:4の事前学習レシピよりも優れており,完全なパラメータモデルでも同等であることがわかった。
論文参考訳（メタデータ） (2024-09-13T08:29:36Z)
Accelerating Large Language Model Training with Hybrid GPU-based Compression [3.204387803072905]
MPIライブラリはメッセージサイズを大幅に削減し、相互接続帯域幅を活用することが証明されている。分散大言語モデル(LLM)学習における圧縮支援型MPI集団の有効性について検討した。
論文参考訳（メタデータ） (2024-09-04T04:05:30Z)
LoCo: Low-Bit Communication Adaptor for Large-scale Model Training [63.040522637816906]
低ビット通信は、しばしば圧縮情報損失によってトレーニング品質が低下する。本稿では,ローカルGPUノードを補償するLoCo(Lo-bit Communication Adaptor)を提案する。実験結果から,Megatron-LMやPyTorchs FSDPといった大規模トレーニングモデルフレームワークの移動により,LoCoは圧縮通信効率を大幅に向上することがわかった。
論文参考訳（メタデータ） (2024-07-05T13:01:36Z)
QUIK: Towards End-to-End 4-Bit Inference on Generative Large Language Models [57.04178959678024]
重み付けとアクティベーションの両方を4ビットにキャストすることで、大きな生成モデルに対する推論計算の大部分が実行可能であることを示す。これをQUIKと呼ばれるハイブリッド量子化戦略により実現し、重みとアクティベーションの大部分を4ビットに圧縮する。我々は、QUIKフォーマットを高効率なレイヤワイドランタイムに適合させるGPUカーネルを提供し、これにより、エンドツーエンドのスループットが3.4倍に向上する。
論文参考訳（メタデータ） (2023-10-13T17:15:05Z)
SpQR: A Sparse-Quantized Representation for Near-Lossless LLM Weight Compression [76.73007709690306]
Sparse-Quantized Representation (SpQR) は,新しい圧縮フォーマットと量子化技術である。 SpQRは、高精度なLLaMAとFalcon LLMのパープレキシティにおいて、1%未満の相対的精度の損失を達成している。これにより、1台の24GBのコンシューマGPU上で33BパラメータのLSMを実行でき、15%のスピードアップでパフォーマンスの劣化は発生しない。
論文参考訳（メタデータ） (2023-06-05T17:53:28Z)
Quantized Distributed Training of Large Models with Convergence Guarantees [34.054462975511996]
FSDPの変種であるQSDPを理論的保証とともに量子的および重み勾配化をサポートする。 QSDPはFSDPの通信を完全に削除し,最大2.2倍の高速化を実現している。
論文参考訳（メタデータ） (2023-02-05T14:20:55Z)
Quantized Training of Gradient Boosting Decision Trees [84.97123593657584]
我々は,GBDTのトレーニングアルゴリズムにおいて,高精度勾配を非常に単純かつ効果的な方法で定量化することを提案する。低精度勾配では、GBDTトレーニングにおけるほとんどの算術演算は、8, 16, 32ビットの整数演算に置き換えられる。大規模なデータセット上でのSOTA GBDTシステムと比較して、単純な量子化戦略の2$times$スピードアップを観測する。
論文参考訳（メタデータ） (2022-07-20T06:27:06Z)
Training Recommender Systems at Scale: Communication-Efficient Model and Data Parallelism [56.78673028601739]
通信効率のよいハイブリッドトレーニングのためのDCT(Dynamic Communication Thresholding)という圧縮フレームワークを提案する。 DCTは、それぞれDPとMPの間に、少なくとも$100times$と$20times$の通信を削減します。最先端の産業レコメンデーションモデルのエンドツーエンドのトレーニング時間を、パフォーマンスを損なうことなく、37%改善する。
論文参考訳（メタデータ） (2020-10-18T01:44:42Z)
Sparse Communication for Training Deep Networks [56.441077560085475]
同期勾配降下(SGD)は、ディープラーニングモデルの分散トレーニングに最もよく用いられる手法である。このアルゴリズムでは、各ワーカーは他のワーカーと局所勾配を共有し、すべてのワーカーの平均勾配を使ってパラメータを更新する。いくつかの圧縮スキームについて検討し、3つの重要なパラメータが性能に与える影響を同定する。
論文参考訳（メタデータ） (2020-09-19T17:28:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。