Fugu-MT 論文翻訳(概要): Resource-aware Computation-Communication Overlap for multi-GPU ML Workloads

論文の概要: Resource-aware Computation-Communication Overlap for multi-GPU ML Workloads

arxiv url: http://arxiv.org/abs/2606.09200v1
Date: Mon, 08 Jun 2026 08:33:03 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-09 14:42:06.837862
Title: Resource-aware Computation-Communication Overlap for multi-GPU ML Workloads
Title（参考訳）: マルチGPUMLワークロードのためのリソース認識型計算通信オーバーラップ
Abstract要約: 通信オーバーヘッドは、マルチGPUトレーニングにおいて主要なボトルネックとなっている。本研究では、2つのポータブルランタイム制御を用いた計算と集合通信の同時実行について検討する。提案手法では,ブロック単位の共有メモリ割り当てによってカーネルの常駐を規制し,通信カーネルが進行するために必要なオンチップリソースを確保できる。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The rapid growth of large-scale machine learning (ML) has made distributed training across multiple GPUs a fundamental component of modern ML systems. As model sizes and computational throughput continue to increase, communication overhead has become a dominant bottleneck in multi-GPU training, particularly when computation and communication are executed sequentially. This work explores concurrent execution of computation and collective communication using two portable runtime controls: shared-memory-driven occupancy shaping for computation kernels and elevated scheduling priority for communication kernels. Our approach regulates computation-kernel residency through per-block shared-memory allocation, leaving sufficient on-chip resources for communication kernels to make progress. In addition, assigning higher priority to communication streams ensures steady communication progress once resources become available. Experiments on NVIDIA A40, A100, H100, and AMD MI250X GPUs demonstrate that the proposed method enables effective computation-communication overlap and reduces total execution time by up to 25.5 percent, without modifying vendor libraries or kernel implementations.
Abstract（参考訳）: 大規模機械学習(ML)の急速な成長により、複数のGPU間での分散トレーニングが、現代のMLシステムの基本コンポーネントとなっている。モデルサイズと計算スループットが増大するにつれて、通信オーバーヘッドはマルチGPUトレーニングにおいて支配的なボトルネックとなり、特に計算と通信が逐次実行される。本研究では,計算カーネルの共有メモリ駆動型占有型シェーピングと,通信カーネルのスケジューリング優先度の向上という,2つのポータブルランタイム制御を用いた計算と集合通信の同時実行について検討する。提案手法では,ブロック単位の共有メモリ割り当てによって計算カーネルの在留を規制し,通信カーネルに十分なオンチップリソースを残しておく。さらに、より優先度の高い通信ストリームを割り当てることで、リソースが利用可能になると、安定した通信の進捗が保証される。 NVIDIA A40、A100、H100、AMD MI250X GPUの実験では、ベンダーライブラリやカーネル実装を変更することなく、提案手法が効率的な計算通信オーバーラップを可能にし、実行時間を最大25.5%削減できることを示した。

関連論文リスト

Profiling-Driven Adaptive Distributed Transformer Inference on Embedded Edge Deployment [60.442064966340524]
本稿では、WiFi経由で接続されたNVIDIA Jetson Orin Nanoデバイスに関するプロトタイプ研究を行う。主な発見は、主なボトルネックは、ネットワーク帯域幅だけでなく、通信中のCPU-GPUステージングである。実験によると、この戦略はフルテンソル交換と比較して遅延を65%-77%減らし、エネルギー消費を34%-52%減らしている。
論文参考訳（メタデータ） (2026-05-25T10:39:28Z)
RockNet: Distributed Learning on Ultra-Low-Power Devices [49.01692357536576]
本稿では,超低消費電力ハードウェアに適した新しいTinyML法であるRockNetを提案する。 CPSは複数のデバイスで構成されているため,機械学習と無線通信を統合した分散学習手法を設計する。この結果から,分散ML,分散コンピューティング,通信の緊密な統合により,最先端の精度で超低消費電力ハードウェアのトレーニングが可能となった。
論文参考訳（メタデータ） (2025-10-15T09:09:30Z)
Efficient and Adaptable Overlapping for Computation and Communication via Signaling and Reordering [13.185314408519107]
生成モデルは様々なアプリケーションで顕著な成功を収め、マルチGPUコンピューティングへの需要が高まっている。本稿では,新しいシグナリング機構を用いたFlashOverlapを提案する。実験の結果、FlashOverlapはオーバーラップによって最大1.65倍のスピードアップを実現しており、ほとんどの場合、既存の作業よりも優れています。
論文参考訳（メタデータ） (2025-04-28T06:37:57Z)
Sparsity-Aware Communication for Distributed Graph Neural Network Training [0.41942958779358674]
グラフニューラルネットワーク(GNN)は、グラフデータの埋め込みや分類を学ぶための計算効率の良い手法である。 GNNトレーニングは計算強度が低く、通信コストがスケーラビリティのボトルネックとなる。我々は3つの新しいアプローチでGNN訓練における通信ボトルネックに対処する空間性認識アルゴリズムを開発した。
論文参考訳（メタデータ） (2025-04-07T01:53:14Z)
GPU-centric Communication Schemes for HPC and ML Applications [0.0]
GPU対応の通信スキームは、ホストメモリをステージングすることなく、アプリケーション内のGPU対応の通信バッファを直接GPUからNICに移動させる。 CPUスレッドは、そのようなGPU認識のサポートがあっても、通信操作をオーケストレーションするために必要である。本稿では,CPUからGPUへ通信操作の制御経路を移動させる,GPU中心の通信方式について検討する。
論文参考訳（メタデータ） (2025-03-31T15:43:18Z)
Scaling Large Language Model Training on Frontier with Low-Bandwidth Partitioning [2.685330831042324]
通信コストを削減し,メモリ使用量を改善するため,ZeRO++の通信と最適化戦略の集合を提案する。 20B GPTモデルでは、ZeRO++の最大384 GCDと比較して1.71倍のTFLOPS増加、最大384 GCDのスケーリング効率は0.94である。
論文参考訳（メタデータ） (2025-01-08T04:19:57Z)
FLUX: Fast Software-based Communication Overlap On GPUs Through Kernel Fusion [9.5114389643299]
本稿では,GPUに依存する計算で通信遅延を著しく隠蔽する新しいFlux法を提案する。 Fluxは核融合によって最大96%の通信を重複させる可能性がある。全体としては、様々なGPU世代と相互接続を持つ128GPUのクラスタ上で、Megatron-LM上でのトレーニングのために、最大1.24倍のスピードアップを達成することができる。
論文参考訳（メタデータ） (2024-06-11T00:17:39Z)
FusionAI: Decentralized Training and Deploying LLMs with Massive Consumer-Level GPUs [57.12856172329322]
我々は、巨大な未使用のコンシューマレベルのGPUをアンロックする分散システムを構想する。このシステムは、CPUとGPUメモリの制限、ネットワーク帯域幅の低さ、ピアとデバイスの多様性など、重要な課題に直面している。
論文参考訳（メタデータ） (2023-09-03T13:27:56Z)
Asynchronous Parallel Incremental Block-Coordinate Descent for Decentralized Machine Learning [55.198301429316125]
機械学習(ML)は、巨大なIoT(Internet of Things)ベースのインテリジェントでユビキタスなコンピューティングのビッグデータ駆動モデリングと分析のための重要なテクニックである。急成長するアプリケーションやデータ量にとって、分散学習は有望な新興パラダイムである。本稿では,多くのユーザデバイスに分散した分散システム上でMLモデルをトレーニングする問題について検討する。
論文参考訳（メタデータ） (2022-02-07T15:04:15Z)
Collaborative Learning over Wireless Networks: An Introductory Overview [84.09366153693361]
主に、ワイヤレスデバイス間の協調トレーニングに焦点を合わせます。過去数十年間、多くの分散最適化アルゴリズムが開発されてきた。データ局所性 – すなわち、各参加デバイスで利用可能なデータがローカルのままである間、共同モデルを協調的にトレーニングすることができる。
論文参考訳（メタデータ） (2021-12-07T20:15:39Z)
DistGNN: Scalable Distributed Training for Large-Scale Graph Neural Networks [58.48833325238537]
大規模グラフの構造を学ぶためにGNN(Graph Neural Networks)のフルバッチトレーニングは、実現可能な数百の計算ノードにスケールする必要がある重要な問題です。本稿では,CPUクラスタ上でのフルバッチトレーニングのためのDGL(Deep Graph Library)を最適化したGNNについて述べる。 4つの一般的なGNNベンチマークデータセットの結果は、1つのCPUソケットを使用して最大3.7倍のスピードアップ、128のCPUソケットを使用して最大97倍のスピードアップを示す。
論文参考訳（メタデータ） (2021-04-14T08:46:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。