論文の概要: HetCCL: Enabling Collective Communication For Mixed-Vendor Heterogeneous Clusters

• arxiv url: http://arxiv.org/abs/2605.31000v1
• Date: Fri, 29 May 2026 08:34:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-01 20:56:50.475522
• Title: HetCCL: Enabling Collective Communication For Mixed-Vendor Heterogeneous Clusters
• Title（参考訳）: HetCCL: 混合ベンダの不均一クラスタのための集合的コミュニケーションの実現
• Abstract要約: HetCCLは、異種デバイス間の効率的なP2P輸送によって異種集団通信を可能にするフレームワークである。 HetCCLは異種通信においてGrooよりも17-19倍の帯域幅を実現し、ステップ毎のエンドツーエンドトレーニングを最大16.9%高速化する。
• 参考スコア（独自算出の注目度）: 19.14900229073636
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training Large Language Models (LLMs) on heterogeneous clusters presents significant challenges for collective communication, as hardware from multiple vendors introduces diverse network and computational characteristics. Existing collective communication frameworks (e.g., NCCL, RCCL) designed for homogeneous environments fail to address mixed-hardware setups, while communication libraries with heterogeneous support (e.g., Gloo, OpenMPI) incur heavy overhead in the data path. This paper presents HetCCL, a framework that enables heterogeneous collective communication by efficient P2P transport across heterogeneous devices (e.g., GPUs), eliminating the host-device memory copy overhead while offloading the control to the CPUs. For combining collectives (e.g., AllReduce, ReduceScatter), HetCCL introduces a border-communicator mechanism that achieves vendor independence by using the intrinsic reduction in the combining collectives in vendor collective communication libraries. With efficient heterogeneous P2P transport and portable reduction mechanism, HetCCL proposes a hierarchical topology abstraction for heterogeneous clusters, dissecting collective communication into cluster-level primitives that guarantee optimal cross-cluster data transfer volume and optimal bandwidth utilization. We implement HetCCL with 4 different vendor support and evaluate it in 4 heterogeneous settings with benchmarks and end-to-end LLM tasks. Our evaluation shows that HetCCL achieves 17-19x higher bandwidth than Gloo in heterogeneous communications, and speeds up end-to-end training by up to 16.9% in the per-step-time.
• Abstract（参考訳）: 異種クラスタ上での大規模言語モデル(LLM)のトレーニングは、複数のベンダのハードウェアが多様なネットワークと計算特性を導入しているため、集合通信において大きな課題となる。 既存の通信フレームワーク(NCCL、RCCLなど)は、同種環境向けに設計されているが、異種サポート(Gloo、OpenMPIなど)を持つ通信ライブラリは、データパスのオーバーヘッドが大きいため、混合ハードウェアのセットアップに対処できない。 本稿では、ヘテロジニアスデバイス(GPUなど)間の効率的なP2P転送により、制御をCPUにオフロードしながらホストデバイスのメモリコピーオーバーヘッドをなくし、異種集団通信を可能にするフレームワークであるHetCCLを提案する。 集合(例: AllReduce, ReduceScatter)を組み合わせるため、HetCCLは、ベンダーの集合通信ライブラリにおける結合集合の本質的な還元を利用して、ベンダーの独立を達成するバウンダリ通信機構を導入している。 HetCCLは、効率的なヘテロジニアスP2Pトランスポートと可搬性還元機構により、異種クラスタの階層的トポロジー抽象化を提案し、クラスタレベルのプリミティブに集団通信を分割することで、最適なクラスタ間データ転送ボリュームと最適な帯域幅利用を保証する。 We implement HetCCL with 4 different vendor support and evaluation it in four heterogeneous settings with benchmarks and end-to-end LLM task。 評価の結果,HetCCLはGrooよりも17～19倍の帯域幅を実現し,ステップ毎のエンドツーエンドトレーニングを最大16.9%高速化した。

関連論文リスト

• Unifying Local Communications and Local Updates for LLM Pretraining [22.321729036377846]
  LLMの通信効率のよい事前学習は、クラスタに分散した計算にトレーニングの引き金がかかっているため、ますます重要になっている。 本稿では,コミュニケーションアクセラレーションの概念を一般化し,実践的なゴシップベースのトレーニングフレームワークであるGASLoCを紹介する。 我々は,GASLoCが複数のトポロジに対して,通信単位の単一ステップで最先端の分散アルゴリズムより優れていることを示す。
  論文  参考訳（メタデータ） (2026-06-09T16:40:54Z)
• GoAgent: Group-of-Agents Communication Topology Generation for LLM-based Multi-Agent Systems [55.12339141172908]
  GoAgentは、協調グループをMAS構築の原子単位として明示的に扱う通信トポロジ生成手法である。 6つのベンチマークの実験では、GoAgentの最先端のパフォーマンスを93.84%の平均精度で証明し、トークン消費を約17%削減した。
  論文  参考訳（メタデータ） (2026-03-20T06:21:32Z)
• Chamfer-Linkage for Hierarchical Agglomerative Clustering [9.30413560778001]
  本稿では,チャンファー距離を用いてクラスタ間距離を測定する新しいリンク関数であるemphChamfer-linkageを提案する。 チャンファー・リンクは古典的リンクよりも常に高品質なクラスタリングをもたらす。 この結果は,古典的リンケージ関数の実践的なドロップイン代替として,チャンファーリンクを確立する。
  論文  参考訳（メタデータ） (2026-02-11T02:36:14Z)
• HetCCL: Accelerating LLM Training with Heterogeneous GPUs [5.820335672510985]
  HetCCLは、ベンダー固有のバックエンドを統一し、ドライバの変更を必要とせずに、GPU間でRDMAベースの通信を可能にする集合通信ライブラリである。 HetCCLは、均一なセットアップでNCCLとRCCLのパフォーマンスを一致させ、異種環境において一意にスケーリングする。
  論文  参考訳（メタデータ） (2026-01-30T05:31:29Z)
• One-Shot Hierarchical Federated Clustering [51.490181220883905]
  本稿では,効率的な階層型クラスタリングフレームワークを提案する。 クライアント-エンドの分散探索とサーバ-エンドの分散アグリゲーションを実行する。 クライアント間の複雑なクラスタ分布を効率的に探索できることが判明した。
  論文  参考訳（メタデータ） (2026-01-10T02:58:33Z)
• CollaPipe: Adaptive Segment-Optimized Pipeline Parallelism for Collaborative LLM Training in Heterogeneous Edge Networks [57.95170323315603]
  CollaPipeは、コラボレーティブパイプライン並列性とフェデレーションアグリゲーションを統合し、自己進化型ネットワークをサポートする分散学習フレームワークである。 CollaPipeでは、エンコーダ部分は可変サイズのセグメントに適応的に分割され、パイプライン並列トレーニングのためにモバイルデバイスにデプロイされ、デコーダは生成タスクを処理するためにエッジサーバにデプロイされる。 トレーニング効率を向上させるために,モデルセグメント,マイクロバッチ,帯域幅,送信電力を適応的に割り当てる共同最適化問題を定式化する。
  論文  参考訳（メタデータ） (2025-09-24T07:54:01Z)
• ClusterFusion: Expanding Operator Fusion Scope for LLM Inference via Cluster-Level Collective Primitive [38.22906887556149]
  大規模言語モデル(LLM)の復号化は、演算子間での断片化によるレイテンシの低下に悩まされる。 本稿では,クラスタレベルの通信プリミティブであるClusterGatherとClusterFusionを紹介する。 通信をスケジュールし、演算子融合スコープを拡張するための共同実行フレームワークであるClusterFusionを設計する。
  論文  参考訳（メタデータ） (2025-08-26T09:29:23Z)
• Dual-Segment Clustering Strategy for Hierarchical Federated Learning in Heterogeneous Wireless Environments [22.35256018841889]
  非独立かつ同一分布(ノンID)データは、フェデレートラーニング(FL)に悪影響を及ぼす 本稿では,FLにおける通信とデータの不均一性を両立する新たなデュアルセグメンテーションクラスタリング(DSC)戦略を提案する。 収束解析と実験結果から,DSC戦略は無線FLの収束率を向上させることができることが示された。
  論文  参考訳（メタデータ） (2024-05-15T11:46:47Z)
• V2X-PC: Vehicle-to-everything Collaborative Perception via Point Cluster [58.79477191603844]
  我々は,低レベル構造情報と高レベル意味情報を組み合わせて,シーンを疎結合に表現する新しいメッセージユニット,すなわちポイントクラスタを導入する。 このフレームワークには、オブジェクトの機能を維持し、帯域幅を管理するためのポイントクラスタパッキング(PCP)モジュールが含まれている。 2つの広く認識されている協調認識ベンチマークの実験は、従来の最先端の手法と比較して、我々の手法の優れた性能を示している。
  論文  参考訳（メタデータ） (2024-03-25T11:24:02Z)
• CLUSTSEG: Clustering for Universal Segmentation [56.58677563046506]
  CLUSTSEGは画像セグメンテーションのための一般的なトランスフォーマーベースのフレームワークである。 これは、統合されたニューラルクラスタリングスキームを通じて、異なるイメージセグメンテーションタスク(スーパーピクセル、セマンティック、インスタンス、パノプティクス)に取り組む。
  論文  参考訳（メタデータ） (2023-05-03T15:31:16Z)
• Gradient Coding with Dynamic Clustering for Straggler-Tolerant Distributed Learning [55.052517095437]
  勾配降下(GD)は、複数の労働者にデータセットを分散することで学習タスクの並列化に広く用いられている。 分散同期gdにおけるイテレーション完了時間ごとの重要なパフォーマンスボトルネックは$straggling$ workersである。 コード化された分散技術は、最近ストラグラーを緩和し、労働者に冗長な計算を割り当てることでgdイテレーションを高速化するために導入された。 本稿では,従来のトラグリング動作に依存する可能性のあるコードの中から,冗長なデータを労働者に割り当てて選択する動的GC方式を提案する。
  論文  参考訳（メタデータ） (2021-03-01T18:51:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。