論文の概要: Adaptive Message Quantization and Parallelization for Distributed
Full-graph GNN Training
- arxiv url: http://arxiv.org/abs/2306.01381v1
- Date: Fri, 2 Jun 2023 09:02:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-05 16:06:21.945971
- Title: Adaptive Message Quantization and Parallelization for Distributed
Full-graph GNN Training
- Title(参考訳): 分散フルグラフGNN訓練における適応的メッセージ量子化と並列化
- Authors: Borui Wan, Juntao Zhao, Chuan Wu
- Abstract要約: 大きなグラフ上のグラフニューラルネットワーク(GNN)の分散フルグラフトレーニングは、帯域幅の要求と時間を要する。
本稿では,分散フルグラフ学習を高速化する効率的なGNNトレーニングシステムであるAdaQPを提案する。
- 参考スコア(独自算出の注目度): 6.557328947642343
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Distributed full-graph training of Graph Neural Networks (GNNs) over large
graphs is bandwidth-demanding and time-consuming. Frequent exchanges of node
features, embeddings and embedding gradients (all referred to as messages)
across devices bring significant communication overhead for nodes with remote
neighbors on other devices (marginal nodes) and unnecessary waiting time for
nodes without remote neighbors (central nodes) in the training graph. This
paper proposes an efficient GNN training system, AdaQP, to expedite distributed
full-graph GNN training. We stochastically quantize messages transferred across
devices to lower-precision integers for communication traffic reduction and
advocate communication-computation parallelization between marginal nodes and
central nodes. We provide theoretical analysis to prove fast training
convergence (at the rate of O(T^{-1}) with T being the total number of training
epochs) and design an adaptive quantization bit-width assignment scheme for
each message based on the analysis, targeting a good trade-off between training
convergence and efficiency. Extensive experiments on mainstream graph datasets
show that AdaQP substantially improves distributed full-graph training's
throughput (up to 3.01 X) with negligible accuracy drop (at most 0.30%) or even
accuracy improvement (up to 0.19%) in most cases, showing significant
advantages over the state-of-the-art works.
- Abstract(参考訳): 大きなグラフ上のグラフニューラルネットワーク(GNN)の分散フルグラフトレーニングは、帯域幅の要求と時間を要する。
デバイス間でのノード機能、埋め込み、埋め込み勾配(すべてメッセージと呼ばれる)の頻繁な交換は、他のデバイス(マージナルノード)上のリモート隣人とのノードの通信オーバーヘッドと、トレーニンググラフにリモート隣人(中央ノード)がいないノードの不要な待ち時間をもたらす。
本稿では,分散フルグラフGNNトレーニングを高速化する効率的なGNNトレーニングシステムであるAdaQPを提案する。
通信トラヒック低減と限界ノードと中央ノード間の通信計算並列化を推奨するために,デバイス間で転送されるメッセージを確率的に計算する。
我々は,T が訓練エポックの総数である O(T^{-1} の速度で) の高速な訓練収束を証明し,解析に基づいて各メッセージに対する適応量子化ビット幅割り当てスキームを設計し,訓練収束と効率の良好なトレードオフを目標とする理論解析を行う。
主流グラフデータセットに関する広範囲な実験により、adaqpは分散フルグラフトレーニングのスループット(最大3.01 x)を大幅に向上し、精度の低下(最大0.2%)や精度の向上(最大0.19%)さえも達成している。
関連論文リスト
- Label Deconvolution for Node Representation Learning on Large-scale
Attributed Graphs against Learning Bias [75.44877675117749]
本稿では,GNNの逆写像に対する新しい,スケーラブルな近似による学習バイアスを軽減するために,ラベルの効率的な正規化手法,すなわちラベルのデコンボリューション(LD)を提案する。
実験では、LDはOpen Graphデータセットのベンチマークで最先端のメソッドを大幅に上回っている。
論文 参考訳(メタデータ) (2023-09-26T13:09:43Z) - Communication-Free Distributed GNN Training with Vertex Cut [63.22674903170953]
CoFree-GNNは、コミュニケーションのないトレーニングを実装することで、トレーニングプロセスを大幅に高速化する、分散GNNトレーニングフレームワークである。
我々は、CoFree-GNNが既存の最先端のGNNトレーニングアプローチよりも最大10倍高速なGNNトレーニングプロセスを実証した。
論文 参考訳(メタデータ) (2023-08-06T21:04:58Z) - NodeFormer: A Scalable Graph Structure Learning Transformer for Node
Classification [70.51126383984555]
本稿では,任意のノード間のノード信号を効率的に伝搬する全ペアメッセージパッシング方式を提案する。
効率的な計算は、カーナライズされたGumbel-Softmax演算子によって実現される。
グラフ上のノード分類を含む様々なタスクにおいて,本手法の有望な有効性を示す実験を行った。
論文 参考訳(メタデータ) (2023-06-14T09:21:15Z) - Boosting Distributed Full-graph GNN Training with Asynchronous One-bit
Communication [23.883543151975136]
大規模なグラフ上でグラフニューラルネットワーク(GNN)をトレーニングすることは、高いメモリ要求と限られたGPUメモリとの競合のため、難しい。
本稿では,GNNにおける1ビット量子化計算手法を用いた分散GNN学習フレームワークSylvieを提案する。
詳細は、Sylvie氏は、送信したデータを定量化し、受信したデータを各レイヤの完全な精度の値に戻すための軽量な低ビットモジュールを提供する。
論文 参考訳(メタデータ) (2023-03-02T14:02:39Z) - Scalable Neural Network Training over Distributed Graphs [45.151244961817454]
実世界のグラフデータは、キャパシティの制約のため、多くのマシンに格納されなければならない。
ネットワーク通信は費用がかかり、GNNのトレーニングの主なボトルネックとなっている。
最初のフレームワークは、すべてのネットワーク分散レベルにおいて、GNNのトレーニングに使用することができる。
論文 参考訳(メタデータ) (2023-02-25T10:42:34Z) - ABC: Aggregation before Communication, a Communication Reduction
Framework for Distributed Graph Neural Network Training and Effective
Partition [0.0]
グラフニューラルネットワーク(GNN)は、グラフ構造データに適したニューラルモデルであり、グラフ構造データの学習表現において優れた性能を示している。
本稿では,分散GNN訓練における通信複雑性について検討する。
グラフ変換プロセスの未知によりエッジ配置を制御できない動的グラフの場合,新しいパーティションパラダイムは特に理想的であることを示す。
論文 参考訳(メタデータ) (2022-12-11T04:54:01Z) - Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。
GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。
提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
論文 参考訳(メタデータ) (2022-03-03T09:53:53Z) - Accelerating Training and Inference of Graph Neural Networks with Fast
Sampling and Pipelining [58.10436813430554]
グラフニューラルネットワーク(GNN)のミニバッチトレーニングには、多くの計算とデータ移動が必要である。
我々は,分散マルチGPU環境において,近傍サンプリングを用いたミニバッチトレーニングを行うことを支持する。
本稿では,これらのボトルネックを緩和する一連の改良点について述べる。
また,サンプリングによる推論を支援する実験分析を行い,試験精度が実質的に損なわれていないことを示す。
論文 参考訳(メタデータ) (2021-10-16T02:41:35Z) - DistGNN: Scalable Distributed Training for Large-Scale Graph Neural
Networks [58.48833325238537]
大規模グラフの構造を学ぶためにGNN(Graph Neural Networks)のフルバッチトレーニングは、実現可能な数百の計算ノードにスケールする必要がある重要な問題です。
本稿では,CPUクラスタ上でのフルバッチトレーニングのためのDGL(Deep Graph Library)を最適化したGNNについて述べる。
4つの一般的なGNNベンチマークデータセットの結果は、1つのCPUソケットを使用して最大3.7倍のスピードアップ、128のCPUソケットを使用して最大97倍のスピードアップを示す。
論文 参考訳(メタデータ) (2021-04-14T08:46:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。