論文の概要: Starscream: Reimagining LLM Sharding on AMD Instinct GPUs with GPU Partitioning
- arxiv url: http://arxiv.org/abs/2611.15951v1
- Date: Wed, 11 Nov 2026 19:44:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.264142
- Title: Starscream: Reimagining LLM Sharding on AMD Instinct GPUs with GPU Partitioning
- Title(参考訳): Starscream:GPU分割によるAMD本能GPU上でのLCMシャーディングの再現
- Abstract要約: Starscreamは、チップレット時代のLSMシャーディングを再考したものだ。
我々は,チップレット時代のLSMシャーディングを再考するStarscreamを紹介した。
- 参考スコア(独自算出の注目度): 0.703497683558609
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As GPU accelerators grow larger to meet rising compute demands, they exhibit increasingly pronounced non-uniform memory access (NUMA) characteristics that challenge existing LLM frameworks. Chiplet-based architectures provide a practical path to larger GPUs while mitigating manufacturing yield constraints. Modern GPUs such as AMD Instinct MI300X employs such a multi-die design, and further offer GPU partitioning capabilities, partitioning a single physical GPU into multiple logical devices with NUMA-aware memory domains, promising faster kernel launches, and reduced memory access latencies with improved locality. However, current parallelization strategies, designed for homogeneous GPU topologies, when applied under partitioning, extend its unidimensional sharding causing significant performance degradation. Three bottlenecks emerge: (1) memory redundancy; (2) arithmetic intensity collapse; (3) communication overhead from flat collectives. We present Starscream, a rethinking of LLM sharding for the chiplet era. Rather than stretching inter-GPU sharding thinner, Starscream adds intra-GPU sharding along an orthogonal dimension, grounded in three foundational principles: kernel shape preservation, memory redundancy elimination, and communication overhead minimization. These principles form the basis for extending any sharding strategy into the partitioning regime. We demonstrate their effectiveness using tensor parallelism as a case study. On AMD MI300X and MI355X, exploiting partitioning capabilities yields up to 4x speedup for attention and 1.43x for fused GEMMs compared to chiplet-oblivious baselines, demonstrating the effectiveness of chiplet-aware designs. Starscream's principles generalize across sharding strategies and future architectures.
- Abstract(参考訳): GPUアクセラレータが増大する計算要求を満たすために大きくなると、既存のLLMフレームワークに挑戦するNUMA(Non-uniform memory access)特性がますます顕著になる。
チップレットベースのアーキテクチャは、製造の利得制約を緩和しながら、より大きなGPUへの実践的なパスを提供する。
AMD Instinct MI300Xのような現代のGPUは、そのような多次元設計を採用し、さらにGPUパーティショニング機能を提供し、単一の物理GPUをNUMA対応メモリドメインを持つ複数の論理デバイスに分割し、より高速なカーネル起動を約束し、ローカリティを改善してメモリアクセスレイテンシを低減している。
しかし、現在の並列化戦略は、均質なGPUトポロジのために設計されており、パーティショニングの下で適用されると、一次元のシャーディングを拡張して性能を著しく低下させる。
1)メモリ冗長性、(2)演算強度の崩壊、(3)平らな集合からの通信オーバーヘッド。
我々は,チップレット時代のLSMシャーディングを再考するStarscreamを紹介した。
StarscreamはGPU間のシャーディングをより薄くする代わりに、カーネル形状の保存、メモリ冗長性排除、通信オーバーヘッドの最小化という3つの基本原則に基づいて、直交次元に沿ってGPU内シャーディングを追加する。
これらの原則は、シャーディング戦略を分割体制に拡張する基盤を形成する。
本研究は,テンソル並列性を用いた実効性を示すものである。
AMD MI300XとMI355Xでは、パーティショニング機能を利用すると注意のために最大4倍、融合GEMMは1.43倍に向上し、チップレットを意識した設計の有効性を示す。
Starscreamの原則は、シャーディング戦略と将来のアーキテクチャにまたがって一般化される。
関連論文リスト
- Mixture-of-Parallelisms: Towards Memory-Efficient Training Stack for Mixture-of-Experts Models [67.17268530365189]
本稿では,Mixture-of-Experts(MoE)モデルのためのメモリ効率のトレーニングスタックを紹介する。
さまざまなレイヤやMoEモデルのトレーニングパイプラインのステージにおいて、さまざまな既存および新しい並列処理テクニックを組み合わせて、特殊化する。
論文 参考訳(メタデータ) (2026-07-02T08:06:57Z) - AMMA: A Multi-Chiplet Memory-Centric Architecture for Low-Latency 1M Context Attention Serving [14.971707812736005]
AMMAは、低コンテキスト長コンテキストアテンションのためのメモリ中心アーキテクチャである。
AMMAはNVIDIA H100に比べて15.5倍の注意遅延と6.9倍のエネルギー消費を実現している。
論文 参考訳(メタデータ) (2026-04-28T20:36:50Z) - An Efficient Heterogeneous Co-Design for Fine-Tuning on a Single GPU [10.811837575220814]
ドメイン適応には細調整の大型言語モデル(LLM)が不可欠だが、そのメモリ集約性はほとんどのGPUの能力を超えている。
単GPU環境向けに設計された新しいシステムであるSlideFormerを紹介する。
GPUをスライディングウィンドウとして扱い、GPUをCPU更新とマルチ層I/Oでオーバーラップする軽量非同期エンジン。
論文 参考訳(メタデータ) (2026-03-17T12:05:17Z) - Eliminating Multi-GPU Performance Taxes: A Systems Approach to Efficient Distributed LLMs [61.953548065938385]
分析フレームワークとして'3つの税'(バルク同期、カーネル間データローカリティ、カーネルローンチオーバーヘッド)を紹介した。
我々は、分散GPU実行におけるキー非効率に対処するために、厳密なBSPモデルを超えて移動することを提案する。
BSPベースのアプローチによるエンドツーエンドのレイテンシの10-20%の高速化を観察する。
論文 参考訳(メタデータ) (2025-11-04T01:15:44Z) - Optimizing Attention on GPUs by Exploiting GPU Architectural NUMA Effects [3.124720734513875]
我々は、従来のGPUカーネルスケジューリング戦略を損なうことなく、計算領域間でメモリレイテンシと帯域幅がいかに大きく変化するかを示す。
Swizzled Head-first Mappingは、注意をGPU NUMAドメインに合わせる空間認識型スケジューリング戦略である。
AMDのMI300Xアーキテクチャでは,最先端の注目アルゴリズムよりも50%高い性能を実現している。
論文 参考訳(メタデータ) (2025-11-03T23:48:39Z) - Minute-Long Videos with Dual Parallelisms [57.22737565366549]
Diffusion Transformer (DiT)ベースのビデオ拡散モデルは、大規模に高品質なビデオを生成するが、長いビデオの処理遅延とメモリコストは禁じられている。
我々はDualParalと呼ばれる新しい分散推論戦略を提案する。
1つのGPUでビデオ全体を生成する代わりに、時間フレームとモデルレイヤの両方をGPU間で並列化します。
論文 参考訳(メタデータ) (2025-05-27T11:55:22Z) - vTensor: Flexible Virtual Tensor Management for Efficient LLM Serving [53.972175896814505]
大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。
大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。
論文 参考訳(メタデータ) (2024-07-22T14:37:58Z) - FusionAI: Decentralized Training and Deploying LLMs with Massive
Consumer-Level GPUs [57.12856172329322]
我々は、巨大な未使用のコンシューマレベルのGPUをアンロックする分散システムを構想する。
このシステムは、CPUとGPUメモリの制限、ネットワーク帯域幅の低さ、ピアとデバイスの多様性など、重要な課題に直面している。
論文 参考訳(メタデータ) (2023-09-03T13:27:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。