論文の概要: Scheduling Data to Compute: Hierarchical Data Pipelining for LLM Training on AMD GPUs

• arxiv url: http://arxiv.org/abs/2611.05751v1
• Date: Tue, 03 Nov 2026 23:44:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 03:25:57.903594
• Title: Scheduling Data to Compute: Hierarchical Data Pipelining for LLM Training on AMD GPUs
• Title（参考訳）: 計算へのデータのスケジューリング: AMD GPU上でのLLMトレーニングのための階層型データパイプライニング
• Abstract要約: 大規模言語モデル(LLM)は、最近の機械学習のブレークスルーの重要な焦点である。 モデルのサイズが指数関数的に大きくなるにつれて、トレーニングに必要な計算は天文学的になる。 チップが待機している間、高価な計算装置はアイドル状態になり、規模が小さくなるとかなりのコストがかかる。
• 参考スコア（独自算出の注目度）: 29.46649710650736
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large language models (LLM) have been the key focus of recent machine learning breakthroughs. As the model size grows exponentially, the computation needed for training is astronomical. A GPU can do a huge amount of arithmetic. However, the data its compute units need is not always available when they are ready. This data may still be in slow memory or on another GPU. While the chip waits, expensive compute sits idle, and at scale even a small drop in utilization translates into substantial cost. In this paper, we treat this waiting time as the primary bottleneck. We focus on hardware features designed for explicit data movement. These features load data from off-chip memory onto the chip, rearrange it into the layout the computation requires as it is loaded, and transfer it between GPUs. By orchestrating them, we keep a steady pipeline of data flowing to the compute units so that they remain busy. We present kernel and framework implementations that address this bottleneck using three key data-movement instructions and hardware features. The Tensor Data Mover (TDM) moves tensor data from high-bandwidth memory (HBM) into on-chip memory. Transpose-load instructions transpose tensor data into the layout that LLM computations require as it is loaded on-chip. Finally, System DMA (SDMA) and Remote DMA (RDMA) move data between GPUs over the scale-up and scale-out networks, respectively. Our results show that TDM and transpose-load provide on average 1.88x and 1.19x speedup at the kernel level, respectively. The SDMA and RDMA lead to on average 1.16x and 1.33x speedup for computation overlapped with communication. This is the first AMD LLM training system to utilize all the GPU data pipelining features. Our implementation has been integrated into open source framework and library for AMD GPUs. https://github.com/AMD-AGI/Primus-Turbo https://github.com/AMD-AGI/Primus
• Abstract（参考訳）: 大規模言語モデル(LLM)が最近の機械学習のブレークスルーの重要な焦点となっている。 モデルのサイズが指数関数的に大きくなるにつれて、トレーニングに必要な計算は天文学的になる。 GPUは膨大な演算を実行できる。 しかし、その計算ユニットに必要なデータは、準備が整ったときに常に利用できるとは限らない。 このデータは依然として遅いメモリか、あるいは別のGPU上にある可能性がある。 チップが待機している間、高価な計算装置はアイドル状態になり、規模が小さくなるとかなりのコストがかかる。 本稿では,この待ち時間を主要なボトルネックとして扱う。 明示的なデータ移動のために設計されたハードウェア機能に焦点を当てる。 これらの機能は、オフチップメモリからチップにデータをロードし、計算に必要なレイアウトに再配置し、GPU間で転送する。 それらをオーケストレーションすることで、計算ユニットに流れるデータのパイプラインを定常的に維持し、忙しく保ちます。 本稿では,このボトルネックに対処するカーネルとフレームワークの実装について,3つの重要なデータ移動命令とハードウェア機能を用いて述べる。 Tensor Data Mover (TDM)は、高帯域メモリ(HBM)からオンチップメモリにテンソルデータを移動させる。 Transpose-load命令は、LLM計算がオンチップでロードするときに必要とするレイアウトにテンソルデータを変換する。 最後に、System DMA(SDMA)とRemote DMA(RDMA)は、それぞれスケールアップネットワークとスケールアウトネットワークにGPU間でデータを移動させる。 その結果,TDMとTranspose-loadはカーネルレベルでそれぞれ平均1.88倍,1.19倍の高速化を実現していることがわかった。 SDMAとRDMAは平均1.16倍と1.33倍のスピードアップを実現している。 これは、GPUデータパイプライン機能を利用する最初のAMD LLMトレーニングシステムである。 当社の実装は,AMD GPU用のオープンソースフレームワークとライブラリに統合されている。 https://github.com/AMD-AGI/Primus-Turbo https://github.com/AMD-AGI/Primus

関連論文リスト

• Accelerating GPU Inference of Large Language Models with Moderately Unstructured Sparse Weight Matrices [18.428868416628017]
  本稿では,中程度間隔の大規模言語モデル(LLM)に対する効率的な推論手法を提案する。 SpInferで最大1.64倍のスピードアップを実現し、FlashLLMで最大1.41倍のエンドツーエンドスピードアップを実現している。
  論文  参考訳（メタデータ） (2026-06-13T13:38:27Z)
• Cost-Efficient LLM Training with Lifetime-Aware Tensor Offloading via GPUDirect Storage [9.106167012987747]
  TERAIOは低コストPCIeベースのソリッドステートドライブ(SSD)を用いたGPUメモリ拡張のためのフレームワーク その設計は、各大規模言語反復訓練プロセスにおいて、アクティブテンソルが割り当てられたGPUメモリのごく一部(平均1.7%)しか取らないという我々の観察によって進められている。 TERAIO は様々な LLM のトレーニング性能を平均 1.47 倍改善し,理想性能の 80.7% を達成している。
  論文  参考訳（メタデータ） (2025-06-06T18:57:20Z)
• Deep Optimizer States: Towards Scalable Training of Transformer Models Using Interleaved Offloading [2.8231000588510757]
  トランスフォーマーと大規模言語モデル(LLM)は、すべてのドメインで急速に採用されている。 変圧器の訓練は非常に高価で、しばしば記憶壁にぶつかる」 本稿では,LLMをCPUまたはGPU上で更新フェーズをスケジュールしたサブグループに分割する手法を提案する。
  論文  参考訳（メタデータ） (2024-10-26T00:43:59Z)
• Harnessing Manycore Processors with Distributed Memory for Accelerated Training of Sparse and Recurrent Models [43.1773057439246]
  現在のAIトレーニングインフラストラクチャは、単一の命令多重データ(SIMD)とシストリック配列アーキテクチャによって支配されている。 分散ローカルメモリを用いた大規模並列多重命令型マルチデータアーキテクチャにおけるスパース・リカレントモデルトレーニングについて検討する。
  論文  参考訳（メタデータ） (2023-11-07T23:18:35Z)
• Generating QM1B with PySCF$_{\text{IPU}}$ [40.29005019051567]
  本稿では,インテリジェンス処理ユニット(IPU)を用いたデータジェネレータPySCF$_textIPU$を紹介する。 これにより、9-11重原子を含む10億のトレーニング例でデータセットのQM1Bを作成することができます。 QM1Bのいくつかの制限を強調し、DFTオプションの低解像度を強調します。
  論文  参考訳（メタデータ） (2023-11-02T10:31:20Z)
• FusionAI: Decentralized Training and Deploying LLMs with Massive Consumer-Level GPUs [57.12856172329322]
  我々は、巨大な未使用のコンシューマレベルのGPUをアンロックする分散システムを構想する。 このシステムは、CPUとGPUメモリの制限、ネットワーク帯域幅の低さ、ピアとデバイスの多様性など、重要な課題に直面している。
  論文  参考訳（メタデータ） (2023-09-03T13:27:56Z)
• INR-Arch: A Dataflow Architecture and Compiler for Arbitrary-Order Gradient Computations in Implicit Neural Representation Processing [66.00729477511219]
  計算グラフとして表される関数を考えると、従来のアーキテクチャはn階勾配を効率的に計算する上で困難に直面している。 InR-Archは,n階勾配の計算グラフをハードウェア最適化データフローアーキテクチャに変換するフレームワークである。 1.8-4.8x と 1.5-3.6x の高速化を CPU と GPU のベースラインと比較した結果を示す。
  論文  参考訳（メタデータ） (2023-08-11T04:24:39Z)
• Heterogeneous Acceleration Pipeline for Recommendation System Training [1.8457649813040096]
  レコメンデーションモデルは、ディープラーニングネットワークと大規模な埋め込みテーブルに依存している。 これらのモデルは一般的に、ハイブリッドGPUまたはGPUのみの設定を使用してトレーニングされる。 本稿ではヘテロジニアスなCPUアクセラレーションパイプラインであるHotlineを紹介する。
  論文  参考訳（メタデータ） (2022-04-11T23:10:41Z)
• PLSSVM: A (multi-)GPGPU-accelerated Least Squares Support Vector Machine [68.8204255655161]
  Support Vector Machines (SVM) は機械学習で広く使われている。 しかし、現代的で最適化された実装でさえ、最先端ハードウェア上の大きな非自明な高密度データセットにはうまくスケールしない。 PLSSVMはLVMのドロップイン代替として使用できる。
  論文  参考訳（メタデータ） (2022-02-25T13:24:23Z)
• Large Graph Convolutional Network Training with GPU-Oriented Data Communication Architecture [19.2129567657739]
  グラフ畳み込みネットワーク(gcns)は大規模グラフベースのレコメンデーションシステムでますます採用されている。 現在のGCNトレーニングシステムは、フィーチャーテーブルをホストメモリに保持し、スパース機能の収集にCPUに依存している。 しかしこのアプローチは、ホストメモリの帯域幅とCPUに大きなプレッシャーを与えます。 本稿では,GPUスレッドがホストメモリのスパース機能に直接アクセスするGCNトレーニングのための新しいGPU指向データ通信手法を提案する。
  論文  参考訳（メタデータ） (2021-03-04T21:00:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。