論文の概要: T-CCL: Resource Efficient and Performant Collective Communication using Tensor Memory Accelerator

• arxiv url: http://arxiv.org/abs/2610.07098v1
• Date: Mon, 05 Oct 2026 14:19:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.559928
• Title: T-CCL: Resource Efficient and Performant Collective Communication using Tensor Memory Accelerator
• Title（参考訳）: T-CCL:テンソルメモリアクセラレータを用いた資源効率・高性能集団通信
• Abstract要約: 本稿では,ノード内通信のためのメモリアクセラレータ(TMA)に基づく資源効率の高い集合通信ライブラリT-CCLを提案する。 T-CCLはデータ移動と縮小操作の両方をTMAにオフロードし、パイプライン化された一連のTMA操作として各集合を実行する。 通信バックエンドとしてvLLMに統合されたT-CCLは、vLLMの自動バックエンドディスパッチのエンドツーエンド推論スループットを最大1.31倍改善する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large transformer-based models increasingly depend on multi-GPU execution, which requires frequent collective communication among GPUs. Existing communication libraries often rely on many GPU threads to achieve high bandwidth or low latency, resulting in a large streaming multiprocessor (SM)-side resource footprint. This footprint can limit the resources available to other GPU work, particularly when communication and computation execute concurrently. Thus, efficient collective communication should not only achieve high collective performance but also reduce its SM-side resource usage. This paper presents T-CCL, a resource-efficient collective communication library based on the Tensor Memory Accelerator (TMA) for intra-node communication. T-CCL offloads both data movement and reduction operations to TMA and executes each collective as a pipelined series of asynchronous TMA operations, reducing the SM resources required for collective communication while maintaining high bandwidth. Evaluated across AllReduce, AllGather, and ReduceScatter collectives, T-CCL outperforms NCCL by up to 2.4x with unrestricted communication resources and up to 3.42x under restricted resource budgets, remains competitive with NCCL's recent symmetric-memory kernels, and occupies the same or fewer SMs in profiled cases. In a GEMM-collective overlap case study, switching the communication backend from NCCL to T-CCL raises the average operator-level speedup over a sequential baseline from 1.12x to 1.25x on two GPUs and from 1.04x to 1.14x on four GPUs, as T-CCL uses fewer SMs for communication, leaving more SMs available to the overlapped GEMM. Integrated into vLLM as a communication backend, T-CCL improves end-to-end inference throughput over vLLM's automatic backend dispatch by up to 1.31x, outperforming it at every evaluated batch size on both the conversation and decode-heavy workloads.
• Abstract（参考訳）: 大規模なトランスフォーマーベースのモデルは、GPU間での頻繁な集団通信を必要とするマルチGPU実行に依存している。 既存の通信ライブラリは、高帯域幅や低レイテンシを実現するために多くのGPUスレッドに依存しており、その結果、大きなストリーミングマルチプロセッサ(SM)側のリソースフットプリントとなる。 このフットプリントは、特に通信と計算が同時に実行される場合、他のGPU作業で利用可能なリソースを制限することができる。 したがって、効率的な集団コミュニケーションは、高い集団的性能を達成するだけでなく、SM側のリソース使用量を削減すべきである。 本稿では、ノード内通信のためのTensor Memory Accelerator(TMA)に基づくリソース効率の高い集合通信ライブラリT-CCLを提案する。 T-CCLはデータ移動と減算操作の両方をTMAにオフロードし、各集合をパイプライン化された一連の非同期TMA操作として実行し、高い帯域幅を維持しながら集団通信に必要なSMリソースを削減する。 AllReduce、AllGather、ReduceScatterの集団で評価されたT-CCLは、制限のない通信リソースで最大2.4倍、制限されたリソース予算で最大3.42倍の性能を発揮し、NCCLの最近の対称メモリカーネルと競合し、プロファイルされたケースでは同じまたは少ないSMを占有している。 GEMMの重複ケーススタディでは、通信バックエンドをNCCLからT-CCLに切り替えると、2つのGPUで1.12xから1.25x、T-CCLで1.04xから1.14xへと平均演算子レベルのスピードアップが上昇する。 通信バックエンドとしてvLLMに統合されたT-CCLは、vLLMの自動バックエンドディスパッチよりもエンドツーエンドの推論スループットを最大1.31倍改善し、会話とデコード重負荷の両方で評価されたバッチサイズ毎にパフォーマンスを向上する。

関連論文リスト

• Resource-aware Computation-Communication Overlap for multi-GPU ML Workloads [0.0]
  通信オーバーヘッドは、マルチGPUトレーニングにおいて主要なボトルネックとなっている。 本研究では、2つのポータブルランタイム制御を用いた計算と集合通信の同時実行について検討する。 提案手法では,ブロック単位の共有メモリ割り当てによってカーネルの常駐を規制し,通信カーネルが進行するために必要なオンチップリソースを確保できる。
  論文  参考訳（メタデータ） (2026-06-08T08:33:03Z)
• HetCCL: Enabling Collective Communication For Mixed-Vendor Heterogeneous Clusters [19.14900229073636]
  HetCCLは、異種デバイス間の効率的なP2P輸送によって異種集団通信を可能にするフレームワークである。 HetCCLは異種通信においてGrooよりも17-19倍の帯域幅を実現し、ステップ毎のエンドツーエンドトレーニングを最大16.9%高速化する。
  論文  参考訳（メタデータ） (2026-05-29T08:34:49Z)
• UCCL-Zip: Lossless Compression Supercharged GPU Communication [37.95759514379356]
  UCCL-ZipはP2P(point-to-point)と集合通信の両方をサポートしている。 Uzip-P2Pは、送信可能なデータを早期に公開し、圧縮と通信を重複させる分割セッションパイプラインを使用している。 Uzip-NCCL は圧縮を NCCL の永続化カーネルモデルに統合する。
  論文  参考訳（メタデータ） (2026-04-19T00:05:36Z)
• Scaling State-Space Models on Multiple GPUs with Tensor Parallelism [0.24148976266903474]
  選択状態空間モデル(SSM)は、大規模言語モデルにとって急速に魅力的なバックボーンとなっている。 しかし、デプロイメントでは、その推論性能は単一のGPUのメモリ容量、帯域幅、レイテンシ制限によって制限されることが多い。 本稿では,3つの実践的技術的課題に対処する,選択的SSM推論のための通信効率のよいTP設計法を提案する。
  論文  参考訳（メタデータ） (2026-02-24T17:47:54Z)
• Out of the Memory Barrier: A Highly Memory Efficient Training System for LLMs with Million-Token Contexts [68.79341332280062]
  長いコンテキストでの大規模言語モデル(LLM)のトレーニングは、トレーニング時間ではなく、GPUメモリの異常なオーバーヘッドによって厳しく制限される。 この障壁に直面するメモリ効率の高いトレーニングシステムOOMBを紹介します。 本手法では,オンザフライアクティベーション・リコンピュテーションを備えたチャンク・リカレント・トレーニング・フレームワークを用いて,一定のアクティベーションメモリフットプリントを維持する。
  論文  参考訳（メタデータ） (2026-02-02T13:52:40Z)
• xLLM Technical Report [57.13120905321185]
  我々は,知的かつ効率的なLarge Language Model (LLM)推論フレームワークであるxLLMを紹介する。 xLLMは、新しい分離されたサービスエンジンアーキテクチャを構築する。 xLLM-Engineは、システムとアルゴリズムの設計を最適化し、コンピュータリソースを完全に飽和させる。
  論文  参考訳（メタデータ） (2025-10-16T13:53:47Z)
• Fast Matrix Multiplications for Lookup Table-Quantized LLMs [58.11584672945781]
  FLUTEはLUT量子化LLM用のフレキシブルなルックアップテーブルエンジンである。 バッチサイズ32と量子化グループサイズ128では、FLUTEカーネルは既存のGEMMカーネルよりも2〜4倍高速である。
  論文  参考訳（メタデータ） (2024-07-15T17:55:42Z)
• 1-bit LAMB: Communication Efficient Large-Scale Large-Batch Training with LAMB's Convergence Speed [17.953619054149378]
  通信を圧縮した場合でも適応層学習率をサポートする新しい通信効率の高い1ビットラムを提案する。 バッチサイズが8Kから64KのBERT-Large事前学習タスクでは,NCCLベースのバックエンドを持つ1ビットLAMBが最大4.6倍の通信量削減を実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-04-13T10:07:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。