論文の概要: Democratizing AI: Open-source Scalable LLM Training on GPU-based Supercomputers

• arxiv url: http://arxiv.org/abs/2502.08145v1
• Date: Wed, 12 Feb 2025 06:05:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-13 13:49:12.567381
• Title: Democratizing AI: Open-source Scalable LLM Training on GPU-based Supercomputers
• Title（参考訳）: 民主化AI:GPUベースのスーパーコンピュータ上でのオープンソースのスケーラブルLLMトレーニング
• Authors: Siddharth Singh, Prajwal Singhania, Aditya Ranjan, John Kirchenbauer, Jonas Geiping, Yuxin Wen, Neel Jain, Abhimanyu Hans, Manli Shu, Aditya Tomar, Tom Goldstein, Abhinav Bhatele,
• Abstract要約: AxoNNと呼ばれる,スケーラブルでポータブルなオープンソースフレームワークで実装された新しい4次元ハイブリッド並列アルゴリズムを提案する。 本稿では,Frontier 上で AxoNN を用いて405ビリオンパラメータ LLM の微調整を行う。
• 参考スコア（独自算出の注目度）: 65.35142508909892
• License:
• Abstract: Training and fine-tuning large language models (LLMs) with hundreds of billions to trillions of parameters requires tens of thousands of GPUs, and a highly scalable software stack. In this work, we present a novel four-dimensional hybrid parallel algorithm implemented in a highly scalable, portable, open-source framework called AxoNN. We describe several performance optimizations in AxoNN to improve matrix multiply kernel performance, overlap non-blocking collectives with computation, and performance modeling to choose performance optimal configurations. These have resulted in unprecedented scaling and peak flop/s (bf16) for training of GPT-style transformer models on Perlmutter (620.1 Petaflop/s), Frontier (1.381 Exaflop/s) and Alps (1.423 Exaflop/s). While the abilities of LLMs improve with the number of trainable parameters, so do privacy and copyright risks caused by memorization of training data, which can cause disclosure of sensitive or private information at inference time. We highlight this side effect of scale through experiments that explore "catastrophic memorization", where models are sufficiently large to memorize training data in a single pass, and present an approach to prevent it. As part of this study, we demonstrate fine-tuning of a 405-billion parameter LLM using AxoNN on Frontier.
• Abstract（参考訳）: 数十億から数兆のパラメータを持つ大規模言語モデル(LLM)のトレーニングと微調整には、数万のGPUと、高度にスケーラブルなソフトウェアスタックが必要です。 本研究では,AxoNNと呼ばれる,スケーラブルでポータブルなオープンソースフレームワークで実装された新しい4次元ハイブリッド並列アルゴリズムを提案する。 AxoNNでは、行列乗算カーネルの性能向上、非ブロック集合と計算の重複、性能最適構成の選択のための性能モデリングなど、いくつかの性能最適化について述べる。 これらは、ペルルマッター (620.1 Petaflop/s)、フロンティア (1.381 Exaflop/s)、アルプス (1.423 Exaflop/s) のGPT型トランスフォーマーモデルのトレーニングのための前例のないスケーリングとピークフロップ/s (bf16) をもたらした。 LLMの能力はトレーニング可能なパラメータの数によって改善されるが、トレーニングデータの記憶によるプライバシーと著作権のリスクは、推論時に機密情報や個人情報の開示を引き起こす可能性がある。 モデルが1回のパスでトレーニングデータを記憶するのに十分な大きさの「破滅的記憶」を探索する実験を通じて、スケールのこの副作用を強調し、それを防ぐためのアプローチを提案する。 本研究では,Frontier 上で AxoNN を用いた405ビリオンパラメータ LLM の微調整を行った。

関連論文リスト

• LESA: Learnable LLM Layer Scaling-Up [57.0510934286449]
  LLM(Large Language Models)をスクラッチからトレーニングするには膨大な計算資源が必要であるため、非常に高価である。 モデルスケーリングアップは、より小さなモデルのパラメータを活用してより大きなモデルを作成することで、有望なソリューションを提供する。 深度スケールアップのための新しい学習方法である textbfLESA を提案する。
  論文  参考訳（メタデータ） (2025-02-19T14:58:48Z)
• Puzzle: Distillation-Based NAS for Inference-Optimized LLMs [17.72841008597783]
  大規模言語モデル(LLM)は目覚ましい能力を示しているが、その採用は推論時に高い計算コストによって制限されている。 本稿では,特定のハードウェア上でLLM推論を高速化するフレームワークであるPuzzleについて述べる。 Nemotron-51Bは、バッチサイズが大きい単一のGPU上で推論できる最も正確な言語モデルである。
  論文  参考訳（メタデータ） (2024-11-28T13:45:42Z)
• Scalable MatMul-free Language Modeling [8.672867887354977]
  MatMul操作は大規模言語モデルから完全に除去可能であることを示す。 提案するMatMulフリーモデルは,最先端のトランスフォーマーと同等の性能を実現する。
  論文  参考訳（メタデータ） (2024-06-04T17:50:34Z)
• Enabling High-Sparsity Foundational Llama Models with Efficient Pretraining and Deployment [56.44025052765861]
  大規模言語モデル(LLM)は自然言語処理(NLP)に革命をもたらしたが、そのサイズは計算のボトルネックを生み出している。 そこで本研究では,高性能LLMの高精度かつ疎結合な基本バージョンを作成するための新しいアプローチを提案する。 スパース量子化LLaMAの最大8.6倍のCPU上での総高速化を示す。
  論文  参考訳（メタデータ） (2024-05-06T16:03:32Z)
• Optimizing Distributed Training on Frontier for Large Language Models [7.251642875697334]
  数十億のパラメータで大規模言語モデル(LLM)を訓練することは、重大な課題となり、かなりの計算資源を必要とする。 本研究では、世界初のエクサスケールスーパーコンピュータであるFrontierからこの計算を抽出するための効率的な分散トレーニング戦略を探求する。
  論文  参考訳（メタデータ） (2023-12-20T02:03:15Z)
• Federated Full-Parameter Tuning of Billion-Sized Language Models with Communication Cost under 18 Kilobytes [53.4856038354195]
  事前訓練された大規模言語モデル(LLM)は、自然言語命令に対する応答性を改善するために微調整が必要である。 FedKSeedは、ランダムシードの有限セットによるゼロ階最適化を採用している。 サーバとクライアント間の通信要求を大幅に減らし、ランダムなシードをわずかに減らします。
  論文  参考訳（メタデータ） (2023-12-11T13:03:21Z)
• Full Parameter Fine-tuning for Large Language Models with Limited Resources [55.794732214059806]
  大規模言語モデル(LLM)は自然言語処理(NLP)に革命をもたらしたが、トレーニングには大量のGPUリソースを必要としている。 我々は,メモリ使用量を削減するために,勾配とパラメータの更新を1ステップで融合する新しい計算,LOMO(LOw-Memory Optimization)を提案する。
  論文  参考訳（メタデータ） (2023-06-16T11:37:15Z)
• Fine-Tuning Language Models with Just Forward Passes [92.04219196752007]
  微調整言語モデル(LM)は、様々な下流タスクで成功したが、LMのサイズが大きくなるにつれて、バックプロパゲーションは大量のメモリを必要とする。 本稿では,メモリ効率の高いゼロソーダ(MeZO)を提案する。
  論文  参考訳（メタデータ） (2023-05-27T02:28:10Z)
• A 4D Hybrid Algorithm to Scale Parallel Training to Thousands of GPUs [1.7481226034111275]
  本稿では,並列訓練における通信を最適化するための4次元(4次元)アプローチを提案する。 AxoNNは最先端のフレームワークであるMegatron-LMを26%上回っている。 理論上のピークFLOP/sの57%、合計182 PFLOP/sを達成している。
  論文  参考訳（メタデータ） (2023-05-22T22:41:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。