論文の概要: MixGCN: Scalable GCN Training by Mixture of Parallelism and Mixture of Accelerators

• arxiv url: http://arxiv.org/abs/2501.01951v2
• Date: Mon, 06 Jan 2025 06:46:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-07 13:45:31.240403
• Title: MixGCN: Scalable GCN Training by Mixture of Parallelism and Mixture of Accelerators
• Title（参考訳）: MixGCN: 並列性とアクセラレータの混合によるスケーラブルGCNトレーニング
• Authors: Cheng Wan, Runkai Tao, Zheng Du, Yang Katie Zhao, Yingyan Celine Lin,
• Abstract要約: フルグラフ上でのグラフ畳み込みネットワーク(GCN)のトレーニングは難しい。 機能テンソルは簡単にメモリを爆発させ、現代のアクセラレーターの通信帯域をブロックすることができる。 トレーニングのワークフロー GCNはスパース演算と密度行列演算を交互に行う。
• 参考スコア（独自算出の注目度）: 3.598994359810843
• License:
• Abstract: Graph convolutional networks (GCNs) have demonstrated superiority in graph-based learning tasks. However, training GCNs on full graphs is particularly challenging, due to the following two challenges: (1) the associated feature tensors can easily explode the memory and block the communication bandwidth of modern accelerators, and (2) the computation workflow in training GCNs alternates between sparse and dense matrix operations, complicating the efficient utilization of computational resources. Existing solutions for scalable distributed full-graph GCN training mostly adopt partition parallelism, which is unsatisfactory as they only partially address the first challenge while incurring scaled-out communication volume. To this end, we propose MixGCN aiming to simultaneously address both the aforementioned challenges towards GCN training. To tackle the first challenge, MixGCN integrates mixture of parallelism. Both theoretical and empirical analysis verify its constant communication volumes and enhanced balanced workload; For handling the second challenge, we consider mixture of accelerators (i.e., sparse and dense accelerators) with a dedicated accelerator for GCN training and a fine-grain pipeline. Extensive experiments show that MixGCN achieves boosted training efficiency and scalability.
• Abstract（参考訳）: グラフ畳み込みネットワーク(GCN)は、グラフベースの学習タスクにおいて優位性を示している。 しかし, フルグラフ上でのGCNのトレーニングは, 1) 関連機能テンソルがメモリを爆発させやすく, 現代のアクセラレータの通信帯域をブロックし, (2) 疎行列演算と高密度行列演算の間でGCNの計算ワークフローを交換し, 計算資源の効率的な利用を複雑にする,という2つの課題により, 特に困難である。 拡張性のある分散フルグラフGCNトレーニングのための既存のソリューションは、主にパーティション並列化を採用しています。 そこで本研究では,上記2つの課題を同時に解決することを目的としたMixGCNを提案する。 最初の課題に取り組むために、MixGCNは並列性の混合を統合している。 第2の課題に対処するためには、加速器(スパースと高密度加速器)とGCNトレーニング専用の加速器と微粒パイプラインの混合について検討する。 大規模な実験により、MixGCNはトレーニング効率とスケーラビリティの向上を実現している。

関連論文リスト

• FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
  分散トレーニングは、システム設計と効率に関する重要な課題に直面します。 大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。 本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-16T16:13:19Z)
• Distributed Training of Large Graph Neural Networks with Variable Communication Rates [71.7293735221656]
  大きなグラフ上でグラフニューラルネットワーク(GNN)をトレーニングすることは、大きなメモリとコンピューティング要件のために、ユニークな課題を提示する。 グラフを複数のマシンに分割する分散GNNトレーニングは、大きなグラフ上でGNNをトレーニングするための一般的なアプローチである。 本稿では,学習モデルの精度を損なうことなく,分散GNNトレーニングにおける通信量を削減するための可変圧縮方式を提案する。
  論文  参考訳（メタデータ） (2024-06-25T14:57:38Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• A Comprehensive Survey on Distributed Training of Graph Neural Networks [59.785830738482474]
  グラフニューラルネットワーク(GNN)は、幅広いアプリケーション分野において強力なアルゴリズムモデルであることが示されている。 GNNトレーニングを大規模かつ継続的なグラフにスケールアップするために、最も有望なソリューションは分散トレーニングである。 分散GNNトレーニングに関する研究の規模は、非常に広範であり、出版のペースは極めて速い。
  論文  参考訳（メタデータ） (2022-11-10T06:22:12Z)
• BNS-GCN: Efficient Full-Graph Training of Graph Convolutional Networks with Boundary Node Sampling [25.32242812045678]
  本稿では,BNS-GCNという,ランダム境界ノードサンプリングを併用して,効率よくスケーラブルな分散GCNトレーニングを実現する,シンプルで効果的なBNS-GCNを提案する。 BNS-GCNの有効性を一貫して検証し、スループットを最大16.2倍にし、メモリ使用量を最大58%削減し、フルグラフの精度を維持した。
  論文  参考訳（メタデータ） (2022-03-21T13:44:37Z)
• PipeGCN: Efficient Full-Graph Training of Graph Convolutional Networks with Pipelined Feature Communication [24.05916878277873]
  Graph Convolutional Networks (GCNs) は、グラフ構造化データを学習するための最先端の手法である。 分散GCNトレーニングは、ノード機能とパーティション間の機能勾配の通信の不要なオーバーヘッドを引き起こす。 分割間通信をパイプライン化することで通信オーバーヘッドを隠蔽するPipeGCNを提案する。
  論文  参考訳（メタデータ） (2022-03-20T02:08:03Z)
• GCoD: Graph Convolutional Network Acceleration via Dedicated Algorithm and Accelerator Co-Design [27.311994997480745]
  グラフ畳み込みネットワーク(GCN)が最先端のグラフ学習モデルとして登場した。 大きなグラフデータセット上でGCNを推論することは、非常に難しい。 本稿では、前述のGCNの不規則性を大幅に軽減できるGCNアルゴリズムとGCoDと呼ばれる加速器協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-12-22T00:30:50Z)
• Community-based Layerwise Distributed Training of Graph Convolutional Networks [18.96786634170954]
  マルチプライヤの交互方向法(ADMM)に基づく並列分散GCNトレーニングアルゴリズムを提案する。 予備的な結果は,提案したコミュニティベースADMMトレーニングアルゴリズムが3倍以上の高速化につながることを示す。
  論文  参考訳（メタデータ） (2021-12-17T05:50:08Z)
• GCNear: A Hybrid Architecture for Efficient GCN Training with Near-Memory Processing [8.130391367247793]
  グラフ畳み込みネットワーク(GCN)は、非ユークリッドグラフデータを解析するための最先端のアルゴリズムとなっている。 特に大きなグラフ上で、GCNの効率的なトレーニングを実現することは困難である。 本稿では,これらの課題に対処するためのハイブリッドアーキテクチャであるGCNearを提案する。
  論文  参考訳（メタデータ） (2021-11-01T03:47:07Z)
• DeeperGCN: All You Need to Train Deeper GCNs [66.64739331859226]
  グラフ畳み込みネットワーク(GCN)はグラフ上での表現学習の力で注目されている。 非常に深いレイヤを積み重ねることのできる畳み込みニューラルネットワーク(CNN)とは異なり、GCNはより深く進むと、勾配の消失、過度なスムース化、過度に適合する問題に悩まされる。 本稿では,非常に深いGCNを正常かつ確実に訓練できるDeeperGCNを提案する。
  論文  参考訳（メタデータ） (2020-06-13T23:00:22Z)
• L$^2$-GCN: Layer-Wise and Learned Efficient Training of Graph Convolutional Networks [118.37805042816784]
  グラフ畳み込みネットワーク(GCN)は、多くのアプリケーションで人気が高まっているが、大きなグラフデータセットをトレーニングするのは依然として難しい。 本稿では,GCN (L-GCN) のための新しいレイヤワイドトレーニングフレームワークを提案する。 実験の結果、L-GCNは少なくとも1桁の精度で最先端よりも高速であり、メモリ使用量はデータセットのサイズに依存しないことがわかった。
  論文  参考訳（メタデータ） (2020-03-30T16:37:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。