Fugu-MT 論文翻訳(概要): mKernel: Fast Multi-GPU, Multi-Node Fused Kernels

論文の概要: mKernel: Fast Multi-GPU, Multi-Node Fused Kernels

arxiv url: http://arxiv.org/abs/2609.13585v1
Date: Fri, 11 Sep 2026 22:50:04 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-16 07:15:05.401955
Title: mKernel: Fast Multi-GPU, Multi-Node Fused Kernels
Title（参考訳）: mKernel: 高速なマルチGPU、マルチノードフューズされたカーネル
Abstract要約: mKernelはマルチGPU、マルチノード融合カーネルのライブラリで、計算処理、ノード内NVLink通信、タイル粒度でのノード間RDMAをオーバーラップする。 GEMM+AllReduceでは最大1.72倍、Ring Attentionでは1.88倍のスピードアップを実現している。
参考スコア（独自算出の注目度）: 37.86216303017995
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Communication has become a bottleneck in distributed training and inference of large models. Overlapping communication with computation at the granularity of kernels, on separate streams, reduces only part of this communication cost. Fused kernels often have better performance by transmitting each output tile as soon as it is produced, but existing fused kernels are largely confined to a single NVLink domain. We present mKernel, a library of multi-GPU, multi-node fused kernels that overlap computation, intra-node NVLink communication, and inter-node RDMA at tile granularity. mKernel partitions the streaming multiprocessors (SMs) of a persistent kernel into compute and communication roles, and an on-GPU controller tunes the SM partition adaptively at run time, since the best SM partition varies with the kernel and the input shape. It structures data movement hierarchically so that data traversing the inter-node network is minimized. Finally, it drives the network from the GPU through a lightweight command queue and host proxy implemented directly on RDMA verbs, which allows the same kernels to run on any network backend (e.g. InfiniBand and on AWS EFA); we observe, surprisingly, that GPUDirect Async (IBGDA) yields little additional benefit over host-assisted GPU-initiated communication. We implement five kernels spanning tensor, sequence, and expert parallelism. On two 16-GPU H200 clusters, mKernel achieves speedups of up to 1.72x on GEMM+AllReduce and $1.88\times$ on Ring Attention.
Abstract（参考訳）: コミュニケーションは、大規模なモデルの分散トレーニングと推論においてボトルネックになっている。異なるストリーム上のカーネルの粒度での計算との重なり合う通信は、この通信コストの一部を削減します。融合カーネルは、各出力タイルを生成直後に送信することで、性能が向上することが多いが、既存の融合カーネルは、主に単一のNVLinkドメインに限られている。計算処理,ノード内NVLink通信,およびノード間RDMAをタイル粒度で重畳するマルチGPU,マルチノード融合カーネルのライブラリであるmKernelを提案する。 mKernelは、永続カーネルのストリーミングマルチプロセッサ(SM)を計算および通信ロールに分割し、GPUコントローラは、最高のSMパーティションがカーネルと入力形状によって異なるため、実行時にSMパーティションを適応的に調整する。ノード間ネットワークを横断するデータを最小化するために、データ移動を階層的に構成する。最後に、軽量なコマンドキューとRDMA動詞に直接実装されたホストプロキシを通じて、GPUからネットワークを駆動し、同じカーネルを任意のネットワークバックエンド(例えばInfiniBandとAWS EFA)上で実行可能にする。テンソル,シーケンス,エキスパート並列性にまたがる5つのカーネルを実装している。 2つの16GPU H200クラスタ上で、mKernelはGEMM+AllReduceで最大1.72倍のスピードアップを達成する。

関連論文リスト

Resource-aware Computation-Communication Overlap for multi-GPU ML Workloads [0.0]
通信オーバーヘッドは、マルチGPUトレーニングにおいて主要なボトルネックとなっている。本研究では、2つのポータブルランタイム制御を用いた計算と集合通信の同時実行について検討する。提案手法では,ブロック単位の共有メモリ割り当てによってカーネルの常駐を規制し,通信カーネルが進行するために必要なオンチップリソースを確保できる。
論文参考訳（メタデータ） (2026-06-08T08:33:03Z)
Profiling-Driven Adaptive Distributed Transformer Inference on Embedded Edge Deployment [60.442064966340524]
本稿では、WiFi経由で接続されたNVIDIA Jetson Orin Nanoデバイスに関するプロトタイプ研究を行う。主な発見は、主なボトルネックは、ネットワーク帯域幅だけでなく、通信中のCPU-GPUステージングである。実験によると、この戦略はフルテンソル交換と比較して遅延を65%-77%減らし、エネルギー消費を34%-52%減らしている。
論文参考訳（メタデータ） (2026-05-25T10:39:28Z)
Mirage Persistent Kernel: A Compiler and Runtime for Mega-Kernelizing Tensor Programs [17.461191811780722]
Mirage Persistent Kernel (MPK)は、マルチGPUモデル推論を自動的に1つの高性能メガカーネルに変換する最初のコンパイラおよびランタイムシステムである。 MPKはSMレベルのグラフ表現を導入し、個々のストリーミングマルチプロセッサの粒度でデータの依存関係をキャプチャする。 MPKは、エンド・ツー・エンドのレイテンシを最大1.7倍に減らし、既存のカーネル・パー・オペレーショナル・サービスシステムより大幅に優れている。
論文参考訳（メタデータ） (2025-12-22T14:18:20Z)
GPU-Initiated Networking for NCCL [0.7990599798388804]
従来のGPU通信は、CPUがすべての通信操作をオーケストレーションするホスト開始モデルに従っている。本稿では,GINアーキテクチャ,設計,セマンティクスについて述べる。
論文参考訳（メタデータ） (2025-11-19T03:36:03Z)
TokenWeave: Efficient Compute-Communication Overlap for Distributed LLM Inference [9.98718571193106]
大規模言語モデル(LLM)の分散推論は、NVLinkのような高速な相互接続を介して接続されたGPUでさえ、最大20%のオーバーヘッドを発生させることができる。これらの課題に対処するため、TokenWeaveを紹介します。私たちの評価では、レイテンシの1.29倍のスピードアップと、複数のモデルやワークロードで1.26倍のスループットを実現しています。
論文参考訳（メタデータ） (2025-05-16T14:53:50Z)
vTensor: Flexible Virtual Tensor Management for Efficient LLM Serving [53.972175896814505]
大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。
論文参考訳（メタデータ） (2024-07-22T14:37:58Z)
Explore as a Storm, Exploit as a Raindrop: On the Benefit of Fine-Tuning Kernel Schedulers with Coordinate Descent [48.791943145735]
カーネルの品質を向上しながら,Ansorの検索時間を短縮する可能性を示す。このアプローチを、Ansorが生成した最初の300のカーネルに適用する。この結果は20の有名なディープラーニングモデルで再現されている。
論文参考訳（メタデータ） (2024-06-28T16:34:22Z)
FLUX: Fast Software-based Communication Overlap On GPUs Through Kernel Fusion [9.5114389643299]
本稿では,GPUに依存する計算で通信遅延を著しく隠蔽する新しいFlux法を提案する。 Fluxは核融合によって最大96%の通信を重複させる可能性がある。全体としては、様々なGPU世代と相互接続を持つ128GPUのクラスタ上で、Megatron-LM上でのトレーニングのために、最大1.24倍のスピードアップを達成することができる。
論文参考訳（メタデータ） (2024-06-11T00:17:39Z)
Spectrum-guided Multi-granularity Referring Video Object Segmentation [56.95836951559529]
現在の参照ビデオオブジェクトセグメンテーション(R-VOS)技術は、符号化された(低解像度)視覚言語特徴から条件付きカーネルを抽出し、デコードされた高解像度特徴をセグメンテーションする。これは、セグメント化カーネルが前方の計算で知覚に苦慮する重要な特徴の漂流を引き起こす。符号化された特徴に対して直接セグメント化を行い,マスクをさらに最適化するために視覚的詳細を利用するスペクトル誘導多粒度手法を提案する。
論文参考訳（メタデータ） (2023-07-25T14:35:25Z)
DistGNN: Scalable Distributed Training for Large-Scale Graph Neural Networks [58.48833325238537]
大規模グラフの構造を学ぶためにGNN(Graph Neural Networks)のフルバッチトレーニングは、実現可能な数百の計算ノードにスケールする必要がある重要な問題です。本稿では,CPUクラスタ上でのフルバッチトレーニングのためのDGL(Deep Graph Library)を最適化したGNNについて述べる。 4つの一般的なGNNベンチマークデータセットの結果は、1つのCPUソケットを使用して最大3.7倍のスピードアップ、128のCPUソケットを使用して最大97倍のスピードアップを示す。
論文参考訳（メタデータ） (2021-04-14T08:46:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。