論文の概要: Distributed Matrix-Based Sampling for Graph Neural Network Training
- arxiv url: http://arxiv.org/abs/2311.02909v2
- Date: Fri, 15 Dec 2023 10:52:34 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-18 18:34:26.801991
- Title: Distributed Matrix-Based Sampling for Graph Neural Network Training
- Title(参考訳): グラフニューラルネットワークトレーニングのための分散行列ベースサンプリング
- Authors: Alok Tripathy, Katherine Yelick, Aydin Buluc
- Abstract要約: 本稿では,スパース行列乗算(SpGEMM)としてサンプリングを表現し,複数のミニバッチを同時にサンプリングする行列ベースバルクサンプリング手法を提案する。
入力グラフトポロジが1つのデバイスに収まらない場合、このグラフを分散し、通信回避型SpGEMMアルゴリズムを用いてGNNミニバッチサンプリングをスケールする。
新しいサンプリング法に加えて,分散GNNトレーニングにおける特徴抽出の現在の手法よりも,単純なオール・ツー・オール交換で特徴データを任意に複製できることが示される。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The primary contribution of this paper is new methods for reducing
communication in the sampling step for distributed GNN training. Here, we
propose a matrix-based bulk sampling approach that expresses sampling as a
sparse matrix multiplication (SpGEMM) and samples multiple minibatches at once.
When the input graph topology does not fit on a single device, our method
distributes the graph and use communication-avoiding SpGEMM algorithms to scale
GNN minibatch sampling, enabling GNN training on much larger graphs than those
that can fit into a single device memory. When the input graph topology (but
not the embeddings) fits in the memory of one GPU, our approach (1) performs
sampling without communication, (2) amortizes the overheads of sampling a
minibatch, and (3) can represent multiple sampling algorithms by simply using
different matrix constructions. In addition to new methods for sampling, we
show that judiciously replicating feature data with a simple all-to-all
exchange can outperform current methods for the feature extraction step in
distributed GNN training. We provide experimental results on the largest Open
Graph Benchmark (OGB) datasets on $128$ GPUs, and show that our pipeline is
$2.5\times$ faster Quiver (a distributed extension to PyTorch-Geometric) on a
$3$-layer GraphSAGE network. On datasets outside of OGB, we show a $8.46\times$
speedup on $128$ GPUs in-per epoch time. Finally, we show scaling when the
graph is distributed across GPUs and scaling for both node-wise and layer-wise
sampling algorithms
- Abstract(参考訳): 本研究の主な貢献は,分散GNNトレーニングにおけるサンプリングステップにおける通信の削減手法である。
本稿では,スパース行列乗算(SpGEMM)としてサンプリングを表現する行列ベースのバルクサンプリング手法を提案し,同時に複数のミニバッチをサンプリングする。
入力グラフトポロジが1つのデバイスに収まらない場合、そのグラフを分散し、通信回避のSpGEMMアルゴリズムを用いてGNNミニバッチサンプリングをスケールし、単一のデバイスメモリに収まるものよりもはるかに大きなグラフでのトレーニングを可能にする。
入力グラフトポロジ(埋め込みではない)が1つのgpuのメモリに収まると、(1)通信なしでサンプリングを行い、(2)ミニバッチをサンプリングするオーバーヘッドを償却し、(3)異なるマトリックス構成を用いて複数のサンプリングアルゴリズムを表現できる。
新しいサンプリング法に加えて,分散GNNトレーニングにおける特徴抽出の現在の手法よりも,単純なオール・ツー・オール交換で特徴データを任意に複製できることを示す。
我々は、28ドルのGPU上で最大のOpen Graph Benchmark(OGB)データセットの実験結果を提供し、パイプラインが3ドルのGraphSAGEネットワーク上で2.5\times$ faster Quiver(PyTorch-Geometricへの分散拡張)であることを示す。
OGB以外のデータセットでは、画期的な時間内に128ドルのGPUで8.46\times$のスピードアップを示す。
最後に、グラフがGPUに分散されている場合のスケーリングと、ノードワイドおよびレイヤワイドサンプリングアルゴリズムのスケーリングを示す。
関連論文リスト
- Ensemble Quadratic Assignment Network for Graph Matching [52.20001802006391]
グラフマッチングはコンピュータビジョンやパターン認識において一般的に用いられる技法である。
最近のデータ駆動型アプローチは、グラフマッチングの精度を著しく改善した。
データ駆動手法と従来の手法の利点を組み合わせたグラフニューラルネットワーク(GNN)に基づくアプローチを提案する。
論文 参考訳(メタデータ) (2024-03-11T06:34:05Z) - Efficient Heterogeneous Graph Learning via Random Projection [65.65132884606072]
不均一グラフニューラルネットワーク(HGNN)は、異種グラフを深層学習するための強力なツールである。
最近のプリ計算ベースのHGNNは、一時間メッセージパッシングを使用して不均一グラフを正規形テンソルに変換する。
我々はRandom Projection Heterogeneous Graph Neural Network (RpHGNN) というハイブリッド計算前HGNNを提案する。
論文 参考訳(メタデータ) (2023-10-23T01:25:44Z) - Quiver: Supporting GPUs for Low-Latency, High-Throughput GNN Serving
with Workload Awareness [4.8412870364335925]
Quiverは、低レイテンシと高スループットを備えた分散GPUベースのGNNサービスシステムである。
最新のGNN手法と比較して,Quiverは8倍のスループットで最大35倍のレイテンシを実現している。
論文 参考訳(メタデータ) (2023-05-18T10:34:23Z) - VQ-GNN: A Universal Framework to Scale up Graph Neural Networks using
Vector Quantization [70.8567058758375]
VQ-GNNは、Vector Quantization(VQ)を使用して、パフォーマンスを損なうことなく、畳み込みベースのGNNをスケールアップするための普遍的なフレームワークである。
我々のフレームワークは,グラフ畳み込み行列の低ランク版と組み合わせた量子化表現を用いて,GNNの「隣の爆発」問題を回避する。
論文 参考訳(メタデータ) (2021-10-27T11:48:50Z) - Accelerating Training and Inference of Graph Neural Networks with Fast
Sampling and Pipelining [58.10436813430554]
グラフニューラルネットワーク(GNN)のミニバッチトレーニングには、多くの計算とデータ移動が必要である。
我々は,分散マルチGPU環境において,近傍サンプリングを用いたミニバッチトレーニングを行うことを支持する。
本稿では,これらのボトルネックを緩和する一連の改良点について述べる。
また,サンプリングによる推論を支援する実験分析を行い,試験精度が実質的に損なわれていないことを示す。
論文 参考訳(メタデータ) (2021-10-16T02:41:35Z) - Global Neighbor Sampling for Mixed CPU-GPU Training on Giant Graphs [26.074384252289384]
グラフニューラルネットワーク(GNN)は、グラフデータから学習するための強力なツールであり、様々なアプリケーションで広く利用されている。
大規模なグラフ上でのミニバッチトレーニングを実現するためのサンプリングベース手法が数多く提案されているが、これらの手法は真の産業規模のグラフ上では機能していない。
我々は,CPU-GPUの混合学習に特化して,GNNを巨大なグラフ上でトレーニングすることを目的としたグローバル近隣サンプリングを提案する。
論文 参考訳(メタデータ) (2021-06-11T03:30:25Z) - Scalable Graph Neural Networks via Bidirectional Propagation [89.70835710988395]
グラフニューラルネットワーク(GNN)は、非ユークリッドデータを学習するための新興分野である。
本稿では、特徴ベクトルとトレーニング/テストノードの両方から局所的な双方向伝搬プロセスを利用するスケーラブルなGNNであるGBPを提案する。
実証実験により、GBPは、トレーニング/テスト時間を大幅に減らして最先端のパフォーマンスを達成することが示された。
論文 参考訳(メタデータ) (2020-10-29T08:55:33Z) - Accurate, Efficient and Scalable Training of Graph Neural Networks [9.569918335816963]
グラフニューラルネットワーク(GNN)は、グラフ上にノード埋め込みを生成する強力なディープラーニングモデルである。
効率的でスケーラブルな方法でトレーニングを実行することは依然として困難です。
本稿では,最先端のミニバッチ手法と比較して,トレーニング負荷を桁違いに削減する新しい並列トレーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2020-10-05T22:06:23Z) - Accelerating Graph Sampling for Graph Machine Learning using GPUs [2.9383911860380127]
NextDoorはGPUリソース上でグラフサンプリングを実行するように設計されたシステムである。
NextDoorは、トランジット並列性(transit-parallelism)と呼ばれるグラフサンプリングに新しいアプローチを採用しています。
我々はいくつかのグラフサンプリングアプリケーションを実装し、NextDoorが既存のシステムよりも桁違いに高速に動作していることを示す。
論文 参考訳(メタデータ) (2020-09-14T19:03:33Z) - Scaling Graph Neural Networks with Approximate PageRank [64.92311737049054]
GNNにおける情報拡散の効率的な近似を利用したPPRGoモデルを提案する。
高速であることに加えて、PPRGoは本質的にスケーラブルであり、業界設定で見られるような大規模なデータセットに対して、自明に並列化することができる。
このグラフのすべてのノードに対するPPRGoのトレーニングとラベルの予測には1台のマシンで2分未満で、同じグラフ上の他のベースラインをはるかに上回ります。
論文 参考訳(メタデータ) (2020-07-03T09:30:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。