論文の概要: PiPAD: Pipelined and Parallel Dynamic GNN Training on GPUs
- arxiv url: http://arxiv.org/abs/2301.00391v1
- Date: Sun, 1 Jan 2023 12:10:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-03 16:04:23.182549
- Title: PiPAD: Pipelined and Parallel Dynamic GNN Training on GPUs
- Title（参考訳）: PiPAD: GPUによるパイプラインおよび並列動的GNNトレーニング
- Authors: Chunyang Wang, Desen Sun, Yuebin Bai
- Abstract要約: ダイナミックグラフニューラルネットワーク(DGNN)は,リンク予測やパンデミック予測など,さまざまなリアルタイムアプリケーションに広く応用されている。
DGNNは、かなりの並列計算とデータ再利用の可能性を示すが、メモリアクセスの非効率性とデータ転送オーバーヘッドに悩まされている。
我々は、GPU上でのエンドツーエンドのパフォーマンス最適化のためのトレーニングフレームワークとして、$underlinetextbfPipelined$と$underlinetextbfDGNNのPiPADを提案する。
- 参考スコア（独自算出の注目度）: 3.3019914257038168
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Dynamic Graph Neural Networks (DGNNs) have been broadly applied in various
real-life applications, such as link prediction and pandemic forecast, to
capture both static structural information and temporal characteristics from
dynamic graphs. Combining both time-dependent and -independent components,
DGNNs manifest substantial parallel computation and data reuse potentials, but
suffer from severe memory access inefficiency and data transfer overhead under
the canonical one-graph-at-a-time training pattern. To tackle the challenges,
we propose PiPAD, a $\underline{\textbf{Pi}}pelined$ and
$\underline{\textbf{PA}}rallel$ $\underline{\textbf{D}}GNN$ training framework
for the end-to-end performance optimization on GPUs. From both the algorithm
and runtime level, PiPAD holistically reconstructs the overall training
paradigm from the data organization to computation manner. Capable of
processing multiple graph snapshots in parallel, PiPAD eliminates the
unnecessary data transmission and alleviates memory access inefficiency to
improve the overall performance. Our evaluation across various datasets shows
PiPAD achieves $1.22\times$-$9.57\times$ speedup over the state-of-the-art DGNN
frameworks on three representative models.
- Abstract（参考訳）: 動的グラフニューラルネットワーク(dgnn)はリンク予測やパンデミック予測といった様々な現実のアプリケーションに適用され、静的構造情報と動的グラフからの時間特性の両方を捉える。
時間に依存しないコンポーネントと非依存のコンポーネントを組み合わせることで、DGNNは相当な並列計算とデータ再利用の可能性を示すが、標準的なワングラフ・アット・タイムトレーニングパターンの下では、メモリアクセスの非効率性とデータ転送オーバーヘッドに悩まされる。
この課題に対処するために、GPUのエンドツーエンドパフォーマンス最適化のためのトレーニングフレームワークであるPiPAD、$\underline{\textbf{Pi}}pelined$と$\underline{\textb{PA}}rallel$$\underline{\textbf{D}}GNNを提案する。
アルゴリズムとランタイムレベルの両方から、PiPADはデータ組織から計算方法まで、全体的なトレーニングパラダイムを一様に再構築します。
複数のグラフスナップショットを並列に処理できるため、PiPADは不要なデータ転送を排除し、メモリアクセスの非効率を軽減し、全体的なパフォーマンスを改善する。
さまざまなデータセットに対する評価では、PiPADが3つの代表モデル上で最先端のDGNNフレームワークよりも1.22\times$-9.57\times$スピードアップを達成したことが示されている。
関連論文リスト
- MassiveGNN: Efficient Training via Prefetching for Massively Connected Distributed Graphs [11.026326555186333]
本稿では,現在最先端のAmazon DistDGL分散GNNフレームワーク上に,パラメータ化された連続プリフェッチと消去方式を提案する。
NERSC(National Energy Research Scientific Computing Center)のPerlmutterスーパーコンピュータでは、エンドツーエンドのトレーニング性能が15～40%向上している。
論文 参考訳（メタデータ） (2024-10-30T05:10:38Z) - DCP: Learning Accelerator Dataflow for Neural Network via Propagation [52.06154296196845]
この研究は、DNN層の最適なデータフローを人間の努力なしに数秒で自動的に見つけるために、Dataflow Code Propagation (DCP)と呼ばれる効率的なデータ中心のアプローチを提案する。
DCPは、様々な最適化目標を最小化するために、望ましい勾配方向に向けてデータフローコードを効率的に更新する神経予測器を学習する。
例えば、追加のトレーニングデータを使用しないDCPは、数千のサンプルを使用して完全な検索を行うGAMAメソッドを超越している。
論文 参考訳（メタデータ） (2024-10-09T05:16:44Z) - GNNFlow: A Distributed Framework for Continuous Temporal GNN Learning on
Dynamic Graphs [11.302970701867844]
本稿では,効率的な時間的グラフ表現学習のための分散フレームワークであるGNNFlowを紹介する。
GNNFlowは、負荷バランスを確保するために、静的スケジューリングを備えた複数のマシンでの分散トレーニングをサポートする。
実験の結果,GNNFlowは既存のシステムに比べて最大21.1倍高速な継続的学習を実現することがわかった。
論文 参考訳（メタデータ） (2023-11-29T07:30:32Z) - SPEED: Streaming Partition and Parallel Acceleration for Temporal
Interaction Graph Embedding [22.68416593780539]
本稿では,時間的相互作用グラフ埋め込みのためのストリームエッジ分割と並列高速化という,新たなトレーニング手法を提案する。
提案手法は,計算資源,計算時間,下流タスク性能のバランスが良好である。
7つの実世界のデータセットにまたがる実証的な検証は、トレーニング速度を最大19.29倍に向上させる可能性を実証している。
論文 参考訳（メタデータ） (2023-08-27T15:11:44Z) - Communication-Free Distributed GNN Training with Vertex Cut [63.22674903170953]
CoFree-GNNは、コミュニケーションのないトレーニングを実装することで、トレーニングプロセスを大幅に高速化する、分散GNNトレーニングフレームワークである。
我々は、CoFree-GNNが既存の最先端のGNNトレーニングアプローチよりも最大10倍高速なGNNトレーニングプロセスを実証した。
論文 参考訳（メタデータ） (2023-08-06T21:04:58Z) - DistTGL: Distributed Memory-Based Temporal Graph Neural Network Training [18.52206409432894]
DistTGLは、分散GPUクラスタ上でメモリベースのTGNNをトレーニングするための、効率的でスケーラブルなソリューションである。
実験では、DistTGLはほぼ直線収束のスピードアップを実現し、最先端のシングルマシン法を14.5%、トレーニングスループットは10.17倍に向上した。
論文 参考訳（メタデータ） (2023-07-14T22:52:27Z) - Temporal Aggregation and Propagation Graph Neural Networks for Dynamic
Representation [67.26422477327179]
時間グラフは連続時間を通してノード間の動的相互作用を示す。
本研究では,周辺地域全体と時間的グラフ畳み込みの新たな手法を提案する。
提案するTAP-GNNは,予測性能とオンライン推論遅延の両面で,既存の時間グラフ手法よりも優れた性能を示す。
論文 参考訳（メタデータ） (2023-04-15T08:17:18Z) - Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。
完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。
本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
論文 参考訳（メタデータ） (2022-09-20T14:41:37Z) - Efficient Dynamic Graph Representation Learning at Scale [66.62859857734104]
本稿では,学習損失による時間依存性を選択的に表現し,計算の並列性を改善するための効率的な動的グラフ lEarning (EDGE) を提案する。
EDGEは、数百万のノードと数億の時間的イベントを持つ動的グラフにスケールでき、新しい最先端(SOTA)パフォーマンスを実現することができる。
論文 参考訳（メタデータ） (2021-12-14T22:24:53Z) - Scheduling Optimization Techniques for Neural Network Training [3.1617796705744547]
本稿では,ニューラルネットワークトレーニングに有効なスケジューリング手法であるアウト・オブ・オーダー(oo)バックプロップを提案する。
単一GPU、データ並列、パイプライン並列トレーニングにおけるGPU利用は、ooobackpropを適用することで、一般的に改善できることを示す。
論文 参考訳（メタデータ） (2021-10-03T05:45:06Z) - DS-Net++: Dynamic Weight Slicing for Efficient Inference in CNNs and
Transformers [105.74546828182834]
本稿では,様々な難易度を持つ入力に対して,ネットワークパラメータの一部を適応的にスライスする動的ウェイトスライシングという,ハードウェア効率のよい動的推論方式を示す。
我々は、CNNのフィルタ数とCNNと変換器の多重次元を入力依存的に調整することで、動的スライム可能なネットワーク(DS-Net)と動的スライス可能なネットワーク(DS-Net++)を提案する。
論文 参考訳（メタデータ） (2021-09-21T09:57:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。