論文の概要: Sequential Aggregation and Rematerialization: Distributed Full-batch
Training of Graph Neural Networks on Large Graphs
- arxiv url: http://arxiv.org/abs/2111.06483v1
- Date: Thu, 11 Nov 2021 22:27:59 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-15 22:18:37.188231
- Title: Sequential Aggregation and Rematerialization: Distributed Full-batch
Training of Graph Neural Networks on Large Graphs
- Title（参考訳）: シーケンシャルアグリゲーションと再構成:大規模グラフ上のグラフニューラルネットワークの分散フルバッチトレーニング
- Authors: Hesham Mostafa
- Abstract要約: 大規模グラフ上でのグラフニューラルネットワーク(GNN)の分散フルバッチ学習のための逐次アグリゲーション・リマテリアル化(SAR)方式を提案する。
SARは、すべてのGNNタイプを大きなグラフ上で直接トレーニングできる分散技術である。
また,カーネル融合とアテンション行列再構成に基づく汎用手法を提案し,アテンションベースモデルの実行時間とメモリ効率を最適化する。
- 参考スコア（独自算出の注目度）: 7.549360351036771
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present the Sequential Aggregation and Rematerialization (SAR) scheme for
distributed full-batch training of Graph Neural Networks (GNNs) on large
graphs. Large-scale training of GNNs has recently been dominated by
sampling-based methods and methods based on non-learnable message passing. SAR
on the other hand is a distributed technique that can train any GNN type
directly on an entire large graph. The key innovation in SAR is the distributed
sequential rematerialization scheme which sequentially re-constructs then frees
pieces of the prohibitively large GNN computational graph during the backward
pass. This results in excellent memory scaling behavior where the memory
consumption per worker goes down linearly with the number of workers, even for
densely connected graphs. Using SAR, we report the largest applications of
full-batch GNN training to-date, and demonstrate large memory savings as the
number of workers increases. We also present a general technique based on
kernel fusion and attention-matrix rematerialization to optimize both the
runtime and memory efficiency of attention-based models. We show that, coupled
with SAR, our optimized attention kernels lead to significant speedups and
memory savings in attention-based GNNs.
- Abstract（参考訳）: 大規模グラフ上でのグラフニューラルネットワーク(GNN)の分散フルバッチ学習のための逐次アグリゲーション・リマテリアル化(SAR)方式を提案する。
GNNの大規模トレーニングは、最近、非学習可能なメッセージパッシングに基づくサンプリングベースの方法と方法に支配されている。
一方、SARは、すべてのGNNタイプを大きなグラフ上で直接トレーニングできる分散技術である。
SARの鍵となる革新は分散逐次再機械化方式であり、これは後方通過の間、不当に大きなGNN計算グラフの一部を順次再構成し解放する。
これにより、高密度に連結されたグラフであっても、ワーカ当たりのメモリ消費がワーカ数に線形に低下する、優れたメモリスケーリング挙動が実現される。
SARを用いて、GNNトレーニングをこれまでで最大の応用例を報告し、作業者の数が増えるにつれて、大きなメモリ節約を実証する。
また,カーネル融合とアテンション行列再構成に基づく汎用手法を提案し,アテンションベースモデルの実行時間とメモリ効率を最適化する。
SARと組み合わせて、最適化されたアテンションカーネルは、アテンションベースのGNNにおいて、大幅なスピードアップとメモリ節約につながることを示す。
関連論文リスト
- MassiveGNN: Efficient Training via Prefetching for Massively Connected Distributed Graphs [11.026326555186333]
本稿では,現在最先端のAmazon DistDGL分散GNNフレームワーク上に,パラメータ化された連続プリフェッチと消去方式を提案する。
NERSC(National Energy Research Scientific Computing Center)のPerlmutterスーパーコンピュータでは、エンドツーエンドのトレーニング性能が15～40%向上している。
論文 参考訳（メタデータ） (2024-10-30T05:10:38Z) - Pre-Training Identification of Graph Winning Tickets in Adaptive Spatial-Temporal Graph Neural Networks [5.514795777097036]
Lottery Ticket hypothesis (LTH) から派生した Graph Winning Ticket (GWT) の概念を導入する。
事前決定された恒星トポロジーをGWTとしてトレーニング前に採用することにより、エッジの削減と効率的な情報伝達のバランスをとることができる。
提案手法は,48GBのメモリを備えた単一A6000を用いて,最大規模の時空間データセット上でASTGNNのトレーニングを可能にする。
論文 参考訳（メタデータ） (2024-06-12T14:53:23Z) - CATGNN: Cost-Efficient and Scalable Distributed Training for Graph Neural Networks [7.321893519281194]
既存の分散システムは、グラフパーティショニングのためにメモリ内のグラフ全体をロードします。
低コストでスケーラブルな分散GNNトレーニングシステムであるCATGNNを提案する。
また、分散GNNトレーニングのためのSPRingという新しいストリーミング分割アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-04-02T20:55:39Z) - Efficient Heterogeneous Graph Learning via Random Projection [58.4138636866903]
不均一グラフニューラルネットワーク(HGNN)は、異種グラフを深層学習するための強力なツールである。
最近のプリ計算ベースのHGNNは、一時間メッセージパッシングを使用して不均一グラフを正規形テンソルに変換する。
我々はRandom Projection Heterogeneous Graph Neural Network (RpHGNN) というハイブリッド計算前HGNNを提案する。
論文 参考訳（メタデータ） (2023-10-23T01:25:44Z) - Scalable Graph Convolutional Network Training on Distributed-Memory
Systems [5.169989177779801]
グラフ畳み込みネットワーク(GCN)はグラフの深層学習に広く利用されている。
グラフ上の畳み込み操作は不規則なメモリアクセスパターンを誘導するので、GCNトレーニングのためのメモリと通信効率の並列アルゴリズムを設計することはユニークな課題である。
本稿では,大規模プロセッサ数にスケールする並列トレーニングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-12-09T17:51:13Z) - A Comprehensive Study on Large-Scale Graph Training: Benchmarking and
Rethinking [124.21408098724551]
グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である
本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。
提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
論文 参考訳（メタデータ） (2022-10-14T03:43:05Z) - A Unified Lottery Ticket Hypothesis for Graph Neural Networks [82.31087406264437]
本稿では,グラフ隣接行列とモデルの重み付けを同時に行う統一GNNスペーシフィケーション(UGS)フレームワークを提案する。
グラフ宝くじ(GLT)をコアサブデータセットとスパースサブネットワークのペアとして定義することにより、人気のある宝くじチケット仮説を初めてGNNsにさらに一般化します。
論文 参考訳（メタデータ） (2021-02-12T21:52:43Z) - Binary Graph Neural Networks [69.51765073772226]
グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。
本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。
モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
論文 参考訳（メタデータ） (2020-12-31T18:48:58Z) - Robust Optimization as Data Augmentation for Large-scale Graphs [117.2376815614148]
学習中に勾配に基づく逆方向摂動を伴うノード特徴を反復的に拡張するFLAG(Free Large-scale Adversarial Augmentation on Graphs)を提案する。
FLAGはグラフデータに対する汎用的なアプローチであり、ノード分類、リンク予測、グラフ分類タスクで普遍的に機能する。
論文 参考訳（メタデータ） (2020-10-19T21:51:47Z) - Fast Graph Attention Networks Using Effective Resistance Based Graph
Sparsification [70.50751397870972]
FastGATは、スペクトルスペーシフィケーションを用いて、注目に基づくGNNを軽量にし、入力グラフの最適プルーニングを生成する手法である。
我々は,ノード分類タスクのための大規模実世界のグラフデータセット上でFastGATを実験的に評価した。
論文 参考訳（メタデータ） (2020-06-15T22:07:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。