論文の概要: Resource-aware Computation-Communication Overlap for multi-GPU ML Workloads

• arxiv url: http://arxiv.org/abs/2606.09200v1
• Date: Mon, 08 Jun 2026 08:33:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-09 14:42:06.837862
• Title: Resource-aware Computation-Communication Overlap for multi-GPU ML Workloads
• Title（参考訳）: マルチGPUMLワークロードのためのリソース認識型計算通信オーバーラップ
• Authors: Minyu Cui, Miquel Pericas,
• Abstract要約: 通信オーバーヘッドは、マルチGPUトレーニングにおいて主要なボトルネックとなっている。 本研究では、2つのポータブルランタイム制御を用いた計算と集合通信の同時実行について検討する。 提案手法では,ブロック単位の共有メモリ割り当てによってカーネルの常駐を規制し,通信カーネルが進行するために必要なオンチップリソースを確保できる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rapid growth of large-scale machine learning (ML) has made distributed training across multiple GPUs a fundamental component of modern ML systems. As model sizes and computational throughput continue to increase, communication overhead has become a dominant bottleneck in multi-GPU training, particularly when computation and communication are executed sequentially. This work explores concurrent execution of computation and collective communication using two portable runtime controls: shared-memory-driven occupancy shaping for computation kernels and elevated scheduling priority for communication kernels. Our approach regulates computation-kernel residency through per-block shared-memory allocation, leaving sufficient on-chip resources for communication kernels to make progress. In addition, assigning higher priority to communication streams ensures steady communication progress once resources become available. Experiments on NVIDIA A40, A100, H100, and AMD MI250X GPUs demonstrate that the proposed method enables effective computation-communication overlap and reduces total execution time by up to 25.5 percent, without modifying vendor libraries or kernel implementations.
• Abstract（参考訳）: 大規模機械学習(ML)の急速な成長により、複数のGPU間での分散トレーニングが、現代のMLシステムの基本コンポーネントとなっている。 モデルサイズと計算スループットが増大するにつれて、通信オーバーヘッドはマルチGPUトレーニングにおいて支配的なボトルネックとなり、特に計算と通信が逐次実行される。 本研究では,計算カーネルの共有メモリ駆動型占有型シェーピングと,通信カーネルのスケジューリング優先度の向上という,2つのポータブルランタイム制御を用いた計算と集合通信の同時実行について検討する。 提案手法では,ブロック単位の共有メモリ割り当てによって計算カーネルの在留を規制し,通信カーネルに十分なオンチップリソースを残しておく。 さらに、より優先度の高い通信ストリームを割り当てることで、リソースが利用可能になると、安定した通信の進捗が保証される。 NVIDIA A40、A100、H100、AMD MI250X GPUの実験では、ベンダーライブラリやカーネル実装を変更することなく、提案手法が効率的な計算通信オーバーラップを可能にし、実行時間を最大25.5%削減できることを示した。

関連論文リスト

• FLUX: Fast Software-based Communication Overlap On GPUs Through Kernel Fusion [9.5114389643299]
  本稿では,GPUに依存する計算で通信遅延を著しく隠蔽する新しいFlux法を提案する。 Fluxは核融合によって最大96%の通信を重複させる可能性がある。 全体としては、様々なGPU世代と相互接続を持つ128GPUのクラスタ上で、Megatron-LM上でのトレーニングのために、最大1.24倍のスピードアップを達成することができる。
  論文  参考訳（メタデータ） (2024-06-11T00:17:39Z)
• FusionAI: Decentralized Training and Deploying LLMs with Massive Consumer-Level GPUs [57.12856172329322]
  我々は、巨大な未使用のコンシューマレベルのGPUをアンロックする分散システムを構想する。 このシステムは、CPUとGPUメモリの制限、ネットワーク帯域幅の低さ、ピアとデバイスの多様性など、重要な課題に直面している。
  論文  参考訳（メタデータ） (2023-09-03T13:27:56Z)
• Asynchronous Parallel Incremental Block-Coordinate Descent for Decentralized Machine Learning [55.198301429316125]
  機械学習(ML)は、巨大なIoT(Internet of Things)ベースのインテリジェントでユビキタスなコンピューティングのビッグデータ駆動モデリングと分析のための重要なテクニックである。 急成長するアプリケーションやデータ量にとって、分散学習は有望な新興パラダイムである。 本稿では,多くのユーザデバイスに分散した分散システム上でMLモデルをトレーニングする問題について検討する。
  論文  参考訳（メタデータ） (2022-02-07T15:04:15Z)
• Collaborative Learning over Wireless Networks: An Introductory Overview [84.09366153693361]
  主に、ワイヤレスデバイス間の協調トレーニングに焦点を合わせます。 過去数十年間、多くの分散最適化アルゴリズムが開発されてきた。 データ局所性 – すなわち、各参加デバイスで利用可能なデータがローカルのままである間、共同モデルを協調的にトレーニングすることができる。
  論文  参考訳（メタデータ） (2021-12-07T20:15:39Z)
• DistGNN: Scalable Distributed Training for Large-Scale Graph Neural Networks [58.48833325238537]
  大規模グラフの構造を学ぶためにGNN(Graph Neural Networks)のフルバッチトレーニングは、実現可能な数百の計算ノードにスケールする必要がある重要な問題です。 本稿では,CPUクラスタ上でのフルバッチトレーニングのためのDGL(Deep Graph Library)を最適化したGNNについて述べる。 4つの一般的なGNNベンチマークデータセットの結果は、1つのCPUソケットを使用して最大3.7倍のスピードアップ、128のCPUソケットを使用して最大97倍のスピードアップを示す。
  論文  参考訳（メタデータ） (2021-04-14T08:46:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。