論文の概要: Efficient Fine-Grained GPU Performance Modeling for Distributed Deep Learning of LLM

• arxiv url: http://arxiv.org/abs/2509.22832v1
• Date: Fri, 26 Sep 2025 18:38:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:18.898425
• Title: Efficient Fine-Grained GPU Performance Modeling for Distributed Deep Learning of LLM
• Title（参考訳）: LLMの分散深層学習のための高速微粒化GPU性能モデリング
• Authors: Biyao Zhang, Mingkai Zheng, Debargha Ganguly, Xuecen Zhang, Vikash Singh, Vipin Chaudhary, Zhao Zhang,
• Abstract要約: 大規模言語モデル(LLM)の訓練は、高性能コンピューティングにおける最も計算集約的なタスクの1つである。 我々は、数百のGPUに分散したマルチビリオンパラメータモデルのエンドツーエンドトレーニング時間を予測するためのフレームワークを提案する。 われわれのフレームワークは、Perlmutter(A100)で4.98%、Vista(GH200)で9.38%の低平均予測誤差を128GPUで20Bパラメータまで達成している。
• 参考スコア（独自算出の注目度）: 11.87842612818933
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training Large Language Models(LLMs) is one of the most compute-intensive tasks in high-performance computing. Predicting end-to-end training time for multi-billion parameter models distributed across hundreds of GPUs remains challenging due to complex interactions between transformer components, parallelism strategies(data, model, pipeline, tensor), and multi-tier communication. Learned models require costly sampling, while analytical models often struggle with real-world network and hardware complexities. We address this by decomposing LLMs into core computational primitives and modeling them with: (1) operator-level decomposition for fine-grained analysis; (2) lightweight sampling based hardware-aware prediction models for key operations; (3) an end-to-end prediction system integrating these components across complex parallelization strategies. Crucially, our methodology has been validated on two large-scale HPC systems. Our framework achieves low average prediction errors-4.98\% on Perlmutter(A100) and 9.38\% on Vista(GH200)-for models up to 20B parameters across 128 GPUs. Importantly, it runs entirely on CPUs, enabling rapid iteration over hardware configurations and training strategies without costly on-cluster experimentation.
• Abstract（参考訳）: LLM(Large Language Models)は、高性能コンピューティングにおいて最も計算集約的なタスクの1つである。 数百のGPUにまたがるマルチビリオンパラメータモデルのエンドツーエンドトレーニング時間予測は、トランスフォーマコンポーネントと並列処理戦略(データ、モデル、パイプライン、テンソル)とマルチ層通信の複雑な相互作用のため、依然として難しい。 学習したモデルは高価なサンプリングを必要とするが、分析モデルは現実世界のネットワークやハードウェアの複雑さに悩まされることが多い。 本研究では, LLMをコア計算プリミティブに分解してモデル化し, (1) 微粒化解析のための演算子レベルの分解, (2) キー操作のための軽量サンプリングベースハードウェア認識予測モデル, (3) 複雑な並列化戦略にまたがってこれらのコンポーネントを統合するエンド・ツー・エンド予測システムを提案する。 重要な点として、我々の方法論は2つの大規模HPCシステムで検証されている。 このフレームワークは、128GPUで最大20Bパラメータのモデルに対して、Perlmutter(A100)で4.98\%、Vista(GH200)で9.38\%の低い平均予測誤差を実現する。 重要なことは、完全にCPU上で動作し、ハードウェア構成とトレーニング戦略を高速に反復することができる。

関連論文リスト

• Characterizing the Efficiency of Distributed Training: A Power, Performance, and Thermal Perspective [6.51239603014107]
  大規模言語モデル(LLM)は、単一ノード分析の限界を超えて、トレーニングワークロードを推し進めている。 様々な実世界のワークロードとハードウェアプラットフォームにわたるLLMトレーニングの包括的特徴について述べる。
  論文  参考訳（メタデータ） (2025-09-12T16:05:07Z)
• AutoHete: An Automatic and Efficient Heterogeneous Training System for LLMs [68.99086112477565]
  トランスフォーマーベースの大規模言語モデル(LLM)は、シーケンスモデリングやテキスト生成において例外的な機能を示した。 既存の異種トレーニング手法は、トレーニング可能なモデルの規模を大幅に拡大するが、かなりの通信オーバーヘッドとCPUワークロードを導入している。 本稿では,シングルGPU環境とマルチGPU環境の両方に互換性のある,自動的で効率的なヘテロジニアストレーニングシステムであるAutoHeteを提案する。
  論文  参考訳（メタデータ） (2025-02-27T14:46:22Z)
• Towards Efficient Pareto Set Approximation via Mixture of Experts Based Model Fusion [53.33473557562837]
  大規模深層ニューラルネットワークに対する多目的最適化問題を解くことは、損失ランドスケープの複雑さと高価な計算コストのために難しい課題である。 本稿では,専門家(MoE)をベースとしたモデル融合を用いて,この問題を実用的でスケーラブルに解決する手法を提案する。 特殊な単一タスクモデルの重みをまとめることで、MoEモジュールは複数の目的間のトレードオフを効果的に捉えることができる。
  論文  参考訳（メタデータ） (2024-06-14T07:16:18Z)
• Towards Universal Performance Modeling for Machine Learning Training on Multi-GPU Platforms [4.959530958049395]
  我々は,コンピュータシステム上での機械学習(ML)ワークロードのトレーニングパフォーマンスを特徴付けるパイプラインを開発し,予測する。 私たちのパイプラインは、TransformerベースのNLPモデルなど、他のタイプのMLワークロードに一般化されています。 最速の埋め込みテーブルシャーディング構成を素早く選択するような洞察を生成することができる。
  論文  参考訳（メタデータ） (2024-04-19T07:20:33Z)
• Partitioned Neural Network Training via Synthetic Intermediate Labels [0.0]
  GPUメモリの制約は、そのような巨大なモデルをトレーニングする上で、注目すべきボトルネックになっている。 この研究は、モデルをGPU間で分割し、個々のセグメントをトレーニングするために合成中間ラベルを生成することを提唱する。 このアプローチは、モデル精度を維持しながらデータ通信を最小限に抑える、より効率的なトレーニングプロセスをもたらす。
  論文  参考訳（メタデータ） (2024-03-17T13:06:29Z)
• Distributed Inference and Fine-tuning of Large Language Models Over The Internet [91.00270820533272]
  大規模言語モデル(LLM)は、多くのNLPタスクで有用であり、サイズが向上する。 これらのモデルはハイエンドのハードウェアを必要とするため、ほとんどの研究者にはアクセスできない。 本研究では,システムスループットの最大化のためにデバイスを自動的に割り当てるフォールトトレラント推論アルゴリズムとロードバランシングプロトコルを開発する。
  論文  参考訳（メタデータ） (2023-12-13T18:52:49Z)
• SWARM Parallelism: Training Large Models Can Be Surprisingly Communication-Efficient [69.61083127540776]
  ディープラーニングアプリケーションは、数十億のパラメータを持つ大きなモデルを使用することの恩恵を受ける。 これらのモデルのトレーニングは、特殊なHPCクラスタを必要とするため、非常に高価である。 安価な"プリエンプティブル"インスタンスを使用するか、あるいは複数のリージョンから既存のリソースをプールする。
  論文  参考訳（メタデータ） (2023-01-27T18:55:19Z)
• Accelerating Training and Inference of Graph Neural Networks with Fast Sampling and Pipelining [58.10436813430554]
  グラフニューラルネットワーク(GNN)のミニバッチトレーニングには、多くの計算とデータ移動が必要である。 我々は,分散マルチGPU環境において,近傍サンプリングを用いたミニバッチトレーニングを行うことを支持する。 本稿では,これらのボトルネックを緩和する一連の改良点について述べる。 また,サンプリングによる推論を支援する実験分析を行い,試験精度が実質的に損なわれていないことを示す。
  論文  参考訳（メタデータ） (2021-10-16T02:41:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。