論文の概要: Compiling Specialized GPU-Initiated Networking
- arxiv url: http://arxiv.org/abs/2611.18145v1
- Date: Fri, 13 Nov 2026 13:19:59 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-16 19:25:34.538567
- Title: Compiling Specialized GPU-Initiated Networking
- Title(参考訳): 特殊なGPU開始型ネットワークをコンパイルする
- Abstract要約: カーネルの中間表現の一部としてGPUを初期化して通信するコンパイラであるObalethを提案する。
Obalethはバッファ寿命に関する完了を計画し、NVIDIAとAMD GPU間のメモリ順序、同期を最適化する。
- 参考スコア(独自算出の注目度): 1.1199585259018459
- License:
- Abstract: Machine learning systems specialize computation to the workload and hardware, but communication remains in generic libraries whose device code and transport decisions are not visible to high-level compilers. We present Obaleth, a compiler that makes GPU-initiated communication part of a kernel's intermediate representation, co-optimizes it alongside computation, and lowers it to specialized transport code. Obaleth plans completions around buffer lifetimes and optimizes memory ordering, synchronization, and batching across NVIDIA and AMD GPUs. On H100 GPUs, Obaleth sends small messages up to 3.3$\times$ faster, and on 256 GPUs runs all-to-all 1.25$\times$ and 2.3$\times$ faster than NVSHMEM and NCCL GIN, with much smaller memory and register use. In vLLM, it serves Qwen3-235B on 16 B200 GPUs and answers requests up to 1.29$\times$ faster than with DeepEP.
- Abstract(参考訳): 機械学習システムは、計算をワークロードとハードウェアに特化しているが、通信は、デバイスコードとトランスポート決定が高レベルのコンパイラでは見えない汎用ライブラリに留まっている。
カーネルの中間表現をGPUで初期化するコンパイラであるObalethを,計算と同時に最適化し,特殊なトランスポートコードに還元する。
Obalethはバッファ寿命に関する完了を計画し、NVIDIAとAMDのGPU間でのメモリ順序付け、同期、バッチ処理を最適化する。
H100 GPUでは、Obalethは3.3$\times$を高速に送信し、256 GPUでは1.25$\times$と2.3$\times$をNVSHMEMやNCCL GINよりも高速に実行する。
vLLMでは、16のB200 GPU上でQwen3-235Bを提供し、DeepEPよりも1.29$\times$高速で要求を答える。
関連論文リスト
- Performance-Portable Exact Gaussian Process Regression in Python via SYCL and oneMath [74.15248168161854]
GPRatは、Gaussianプロセスの正確な回帰のためのオープンソースのPythonライブラリである。
我々は、ハイブリッドHPX/SYCL設計でUXL Foundation OneMathバックエンドを寄贈し、GPRatをAMDとIntelに拡張した。
新しいSYCLバックエンドはNVIDIA A30のネイティブの3%以内で最大の問題サイズであり、A30ではGPflowとGPyTorchライブラリを最大1.75xと2.17x、AMD Instinct MI210では最大1.79xと4.62xで上回っている。
論文 参考訳(メタデータ) (2026-11-12T22:44:29Z) - Efficient Expert-Parallel Communication on PCIe-Connected Consumer GPUs [11.902884895414006]
エキスパート並列性(EP)は、複数のGPUに専門家を置くことで、大規模なMixture-of-Experts(MoE)モデルの推論を可能にする。
現在、このコミュニケーションは推測時間のごく一部を占める。
本稿では,従来のリングアルゴリズムのリレーホップを除去する新しい通信設計であるThunderEPを提案する。
論文 参考訳(メタデータ) (2026-09-30T16:32:25Z) - Minute-Long Videos with Dual Parallelisms [57.22737565366549]
Diffusion Transformer (DiT)ベースのビデオ拡散モデルは、大規模に高品質なビデオを生成するが、長いビデオの処理遅延とメモリコストは禁じられている。
我々はDualParalと呼ばれる新しい分散推論戦略を提案する。
1つのGPUでビデオ全体を生成する代わりに、時間フレームとモデルレイヤの両方をGPU間で並列化します。
論文 参考訳(メタデータ) (2025-05-27T11:55:22Z) - Cheddar: A Swift Fully Homomorphic Encryption Library Designed for GPU Architectures [2.613335121517245]
完全なホモモルフィック暗号化(FHE)は、暗号化されたデータに対するセキュアな計算を可能にすることによって、クラウドコンピューティングをプライバシの懸念から解放する。
我々は、GPUのための高性能なFHEライブラリであるCheddarを紹介し、従来のGPU実装よりも大幅に高速化した。
論文 参考訳(メタデータ) (2024-07-17T23:49:18Z) - FLUX: Fast Software-based Communication Overlap On GPUs Through Kernel Fusion [9.5114389643299]
本稿では,GPUに依存する計算で通信遅延を著しく隠蔽する新しいFlux法を提案する。
Fluxは核融合によって最大96%の通信を重複させる可能性がある。
全体としては、様々なGPU世代と相互接続を持つ128GPUのクラスタ上で、Megatron-LM上でのトレーニングのために、最大1.24倍のスピードアップを達成することができる。
論文 参考訳(メタデータ) (2024-06-11T00:17:39Z) - Hardware-Aware Parallel Prompt Decoding for Memory-Efficient Acceleration of LLM Inference [23.633481089469836]
LLM(Large Language Models)の自動回帰デコーディングは、ハードウェアの性能に大きなオーバーヘッドをもたらす。
トレーニング可能なパラメータを0.0002$%しか必要とせず,A100-40GBのGPUをたった16時間で効率的にトレーニングできる並列プロンプトデコーディングを提案する。
我々のアプローチでは、最大2.49$times$ スピードアップを示し、最小のメモリオーバーヘッドは0.0004$%である。
論文 参考訳(メタデータ) (2024-05-28T22:19:30Z) - INR-Arch: A Dataflow Architecture and Compiler for Arbitrary-Order
Gradient Computations in Implicit Neural Representation Processing [66.00729477511219]
計算グラフとして表される関数を考えると、従来のアーキテクチャはn階勾配を効率的に計算する上で困難に直面している。
InR-Archは,n階勾配の計算グラフをハードウェア最適化データフローアーキテクチャに変換するフレームワークである。
1.8-4.8x と 1.5-3.6x の高速化を CPU と GPU のベースラインと比較した結果を示す。
論文 参考訳(メタデータ) (2023-08-11T04:24:39Z) - HDCC: A Hyperdimensional Computing compiler for classification on
embedded systems and high-performance computing [58.720142291102135]
この研究は、HDC分類メソッドの高レベルな記述を最適化されたCコードに変換する最初のオープンソースコンパイラである、ネームコンパイラを紹介している。
nameは現代のコンパイラのように設計されており、直感的で記述的な入力言語、中間表現(IR)、再ターゲット可能なバックエンドを備えている。
これらの主張を裏付けるために,HDC文献で最もよく使われているデータセットについて,HDCCを用いて実験を行った。
論文 参考訳(メタデータ) (2023-04-24T19:16:03Z) - Optimizing Data Collection in Deep Reinforcement Learning [4.9709347068704455]
GPUベクタライゼーションは、一般的に使用されるCPUシミュレータよりも最大1024タイムでスピードアップできる。
シミュレーションの複雑さがメモリ帯域幅の要求で増大するにつれて、シミュレーターカーネルの核融合の高速化は11.3Times$となり、最大1024times$に増加することを示す。
論文 参考訳(メタデータ) (2022-07-15T20:22:31Z) - PLSSVM: A (multi-)GPGPU-accelerated Least Squares Support Vector Machine [68.8204255655161]
Support Vector Machines (SVM) は機械学習で広く使われている。
しかし、現代的で最適化された実装でさえ、最先端ハードウェア上の大きな非自明な高密度データセットにはうまくスケールしない。
PLSSVMはLVMのドロップイン代替として使用できる。
論文 参考訳(メタデータ) (2022-02-25T13:24:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。