論文の概要: Purlin: Separating Orchestration from the Datapath of Collectives
- arxiv url: http://arxiv.org/abs/2609.36954v1
- Date: Tue, 29 Sep 2026 07:57:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:47.298672
- Title: Purlin: Separating Orchestration from the Datapath of Collectives
- Title（参考訳）: Purlin: 集合体のデータパスからオーケストレーションを分離する
- Abstract要約: 本稿では,分散推論のためのスケールアップ通信フレームワークであるPurlinを紹介する。
7つの集団で、Purlinは最大5.14倍のレイテンシのスピードアップと4.50倍の帯域幅の改善を実現している。
オンラインLLM推論では、Purlinは平均で1.26倍、最大で2.85倍の対話性向上を実現している。
- 参考スコア（独自算出の注目度）: 1.2510321033817797
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Distributed inference depends on GPU collective communication that must keep pace with evolving hardware and specialized workloads. However, existing collective implementations often couple semantics, orchestration (where and when data moves), and the datapath (how data moves). This coupling makes it costly to adopt new hardware mechanisms and customize communication for applications. We present Purlin, a scale-up communication framework that separates these concerns. At the top of Purlin, we specify collectives as a naming of an input and output layout and a copy or reduction operation. In the middle, we introduce a shared orchestration protocol, Stage, Notify, And Consume (SNAC), which derives coordination from these specifications. Below SNAC sits a hardware-specific datapath we call Atom, which implements two key data movement primitives for collectives: copy and reduce. This separation lets us customize collectives and adopt new hardware mechanisms while reusing orchestration via SNAC. We evaluate Purlin on A100, H200, and B200 GPUs. Across seven collectives, Purlin achieves latency speedups of up to 5.14x and bandwidth improvements of up to 4.50x over baselines. Integrated into SGLang, Purlin improves offline LLM serving throughput and interactivity by 1.13x on average and up to 1.37x over baselines. For online LLM inference, Purlin improves interactivity by 1.26x on average and up to 2.85x, with the largest gain occurring under overload. For diffusion image generation, Purlin reduces end-to-end latency by up to 1.13x.
- Abstract（参考訳）: 分散推論は、進化するハードウェアや特殊なワークロードに追従しなければならないGPU集団通信に依存する。
しかしながら、既存の集合実装では、セマンティクス、オーケストレーション(データの移動場所と移動タイミング)、データパス(データの移動方法)が混在することが多い。
この結合により、新しいハードウェアメカニズムを採用し、アプリケーションの通信をカスタマイズするコストがかかる。
これらの懸念を分離するスケールアップ通信フレームワークであるPurlinを紹介します。
Purlinの上部では、集合を入力と出力のレイアウトとコピーまたは縮小操作の命名として指定する。
中間では、共有オーケストレーションプロトコルであるStage、Notify、And Consume (SNAC)を導入しています。
SNACの下には、私たちがAtomと呼ぶハードウェア固有のデータパスがあります。
この分離により、SNACを介してオーケストレーションを再利用しながら、集合をカスタマイズし、新しいハードウェアメカニズムを採用することができます。
A100,H200,B200GPU上でPurlinを評価する。
7つの集団で、Purlinは最大5.14倍のレイテンシのスピードアップと4.50倍の帯域幅の改善を実現している。
SGLangに統合されたPurlinは、オフラインのLCMサービススループットと対話性を平均1.13倍、ベースラインで最大1.37倍改善する。
オンラインLLM推論では、Purlinは平均で1.26倍、最大で2.85倍の対話性向上を実現している。
拡散画像生成では、Purlinはエンドツーエンドのレイテンシを最大1.13倍に削減する。
関連論文リスト
- Sol-H3: Recursive Self-Improvement for MiniMax-H3 Inference Acceleration on Sol-Engine across Cloud and Edge [49.97870278439677]
MiniMax-H3は、高機能で実運用レベルのオープンソースモデルである。
本稿では,効率的なアルゴリズム設計と最適化された演算子実装を統合したフルスタック推論パイプラインを提案する。
オーディオ付き5秒のビデオは、8xGB200ノードでリアルタイムより3.5倍高速に生成され、1つのDGX Sparkで1分以内のメモリ常駐が可能である。
論文 参考訳（メタデータ） (2026-09-28T13:15:07Z) - Multi-Decoder OneRec: Controllable Generative Retrieval for Multi-Objective Industrial Recommendation [42.92484041045021]
Multi-Decoder OneRecは、共有表現、分離された目的適応、コーディネートされたデコードを組み合わせた、制御可能なフレームワークである。
我々はKwai26をリリースした。Kwai26は、13億の生のアイテムレベルのレコード、31.85万のアイテムIDエントリ、有効なセマンティックIDを備えた25.03万のアイテムを備えた大規模なマルチオブジェクトベンチマークである。
同じ512イットの検索予算の下で、Multi-Decoder OneRecは4つのRecall@512メトリクスに対して、1デコーダOneRecベースラインを1.69%-5.62%改善している。
論文 参考訳（メタデータ） (2026-07-29T05:54:19Z) - Profiling-Driven Adaptive Distributed Transformer Inference on Embedded Edge Deployment [60.442064966340524]
本稿では、WiFi経由で接続されたNVIDIA Jetson Orin Nanoデバイスに関するプロトタイプ研究を行う。
主な発見は、主なボトルネックは、ネットワーク帯域幅だけでなく、通信中のCPU-GPUステージングである。
実験によると、この戦略はフルテンソル交換と比較して遅延を65%-77%減らし、エネルギー消費を34%-52%減らしている。
論文 参考訳（メタデータ） (2026-05-25T10:39:28Z) - UCCL-Zip: Lossless Compression Supercharged GPU Communication [37.95759514379356]
UCCL-ZipはP2P(point-to-point)と集合通信の両方をサポートしている。
Uzip-P2Pは、送信可能なデータを早期に公開し、圧縮と通信を重複させる分割セッションパイプラインを使用している。
Uzip-NCCL は圧縮を NCCL の永続化カーネルモデルに統合する。
論文 参考訳（メタデータ） (2026-04-19T00:05:36Z) - Out of the Memory Barrier: A Highly Memory Efficient Training System for LLMs with Million-Token Contexts [68.79341332280062]
長いコンテキストでの大規模言語モデル(LLM)のトレーニングは、トレーニング時間ではなく、GPUメモリの異常なオーバーヘッドによって厳しく制限される。
この障壁に直面するメモリ効率の高いトレーニングシステムOOMBを紹介します。
本手法では,オンザフライアクティベーション・リコンピュテーションを備えたチャンク・リカレント・トレーニング・フレームワークを用いて,一定のアクティベーションメモリフットプリントを維持する。
論文 参考訳（メタデータ） (2026-02-02T13:52:40Z) - Scaling Large Language Model Training on Frontier with Low-Bandwidth Partitioning [2.685330831042324]
通信コストを削減し,メモリ使用量を改善するため,ZeRO++の通信と最適化戦略の集合を提案する。
20B GPTモデルでは、ZeRO++の最大384 GCDと比較して1.71倍のTFLOPS増加、最大384 GCDのスケーリング効率は0.94である。
論文 参考訳（メタデータ） (2025-01-08T04:19:57Z) - MARLIN: Mixed-Precision Auto-Regressive Parallel Inference on Large Language Models [58.3342517278868]
本稿では,Mixed-precision AutoRegressive LINearカーネルの設計について述べる。
バッチサイズは16-32までサポートでき、量子化のスピードアップが最大 (4times$) になる。
MarLINは非同期メモリアクセス、複雑なタスクスケジューリング、パイプライン化といったテクニックを組み合わせてこれを実現している。
論文 参考訳（メタデータ） (2024-08-21T16:10:41Z) - vTensor: Flexible Virtual Tensor Management for Efficient LLM Serving [53.972175896814505]
大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。
大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。
論文 参考訳（メタデータ） (2024-07-22T14:37:58Z) - Hardware-Aware Parallel Prompt Decoding for Memory-Efficient Acceleration of LLM Inference [23.633481089469836]
LLM(Large Language Models)の自動回帰デコーディングは、ハードウェアの性能に大きなオーバーヘッドをもたらす。
トレーニング可能なパラメータを0.0002$%しか必要とせず,A100-40GBのGPUをたった16時間で効率的にトレーニングできる並列プロンプトデコーディングを提案する。
我々のアプローチでは、最大2.49$times$ スピードアップを示し、最小のメモリオーバーヘッドは0.0004$%である。
論文 参考訳（メタデータ） (2024-05-28T22:19:30Z) - ScatterFormer: Efficient Voxel Transformer with Scattered Linear Attention [13.36619701679949]
ウィンドウベースのトランスフォーマーは、安価な注意計算でコンテキスト認識表現をキャプチャすることで、大規模クラウド理解において優れている。
既存のメソッドは、ウィンドウ内のボクセルを広範囲のソートとパディング操作を通じて固定長のシーケンスにグループ化する。
ScatterFormerは、異なるウィンドウにまたがるvoxelに直接、単一のシーケンスとして注意を向ける最初の方法です。
論文 参考訳（メタデータ） (2024-01-01T02:29:59Z) - Tenplex: Dynamic Parallelism for Deep Learning using Parallelizable Tensor Collections [5.354124527153157]
ディープラーニングジョブは、トレーニングやハードウェアメンテナンス中のGPUアロケーションの変更を経験することができる。
現在のDLフレームワークはジョブをGPUのセットに結びつけるため、これらのシナリオのサポートが欠如している。
Scalaiは、実行時にGPU割り当てが更新された後、ジョブが動的に並列性を変更することができるDLシステムのための状態管理ライブラリである。
論文 参考訳（メタデータ） (2023-12-08T17:08:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。