論文の概要: Accelerating Sampling and Aggregation Operations in GNN Frameworks with GPU Initiated Direct Storage Accesses

• arxiv url: http://arxiv.org/abs/2306.16384v2
• Date: Wed, 6 Mar 2024 22:41:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-08 18:20:22.803560
• Title: Accelerating Sampling and Aggregation Operations in GNN Frameworks with GPU Initiated Direct Storage Accesses
• Title（参考訳）: GPUによる直接ストレージアクセスによるGNNフレームワークのサンプリングと集約操作の高速化
• Authors: Jeongmin Brian Park and Vikram Sharma Mailthody and Zaid Qureshi and Wen-mei Hwu
• Abstract要約: グラフニューラルネットワーク(GNN)は、グラフ構造化データから学習するための強力なツールとして登場している。 大規模グラフ上でのGNNのトレーニングは、効率的なデータアクセスとデータ移動方法が欠如しているため、依然として大きな課題である。 大規模グラフに対するGPU指向GNNトレーニングを実現するために,GPU Initiated Direct Storage Access (GIDS) データローダを提案する。
• 参考スコア（独自算出の注目度）: 9.773813896475264
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graph Neural Networks (GNNs) are emerging as a powerful tool for learning from graph-structured data and performing sophisticated inference tasks in various application domains. Although GNNs have been shown to be effective on modest-sized graphs, training them on large-scale graphs remains a significant challenge due to lack of efficient data access and data movement methods. Existing frameworks for training GNNs use CPUs for graph sampling and feature aggregation, while the training and updating of model weights are executed on GPUs. However, our in-depth profiling shows the CPUs cannot achieve the throughput required to saturate GNN model training throughput, causing gross under-utilization of expensive GPU resources. Furthermore, when the graph and its embeddings do not fit in the CPU memory, the overhead introduced by the operating system, say for handling page-faults, comes in the critical path of execution. To address these issues, we propose the GPU Initiated Direct Storage Access (GIDS) dataloader, to enable GPU-oriented GNN training for large-scale graphs while efficiently utilizing all hardware resources, such as CPU memory, storage, and GPU memory with a hybrid data placement strategy. By enabling GPU threads to fetch feature vectors directly from storage, GIDS dataloader solves the memory capacity problem for GPU-oriented GNN training. Moreover, GIDS dataloader leverages GPU parallelism to tolerate storage latency and eliminates expensive page-fault overhead. Doing so enables us to design novel optimizations for exploiting locality and increasing effective bandwidth for GNN training. Our evaluation using a single GPU on terabyte-scale GNN datasets shows that GIDS dataloader accelerates the overall DGL GNN training pipeline by up to 392X when compared to the current, state-of-the-art DGL dataloader.
• Abstract（参考訳）: グラフニューラルネットワーク(gnns)は、グラフ構造化データから学び、さまざまなアプリケーションドメインで高度な推論タスクを実行するための強力なツールとして登場している。 GNNは、控えめなグラフで有効であることが示されているが、効率的なデータアクセスとデータ移動方法がないため、大規模グラフでそれらを訓練することは大きな課題である。 既存のGNNトレーニングフレームワークでは、グラフサンプリングと機能集約にCPUを使用し、GPU上でモデルの重み付けのトレーニングと更新が実行される。 しかし、我々の詳細なプロファイリングは、CPUがGNNモデルのトレーニングスループットを飽和させるのに必要なスループットを達成できないことを示している。 さらに、グラフとその埋め込みがCPUメモリに収まらない場合、オペレーティングシステムによって導入されたオーバーヘッド、例えばページフォールトを扱うことは、実行の重要な経路となる。 これらの問題に対処するために、GPU Initiated Direct Storage Access (GIDS) データローダを提案し、CPUメモリ、ストレージ、GPUメモリなどのハードウェアリソースをハイブリッドデータ配置戦略で効率的に活用しながら、大規模グラフに対するGPU指向のGNNトレーニングを可能にする。 GPUスレッドがストレージから直接特徴ベクトルをフェッチできるようにすることで、GIDSデータローダはGPU指向のGNNトレーニングのメモリ容量問題を解決する。 さらに、GIDSデータローダはGPU並列性を利用してストレージ遅延を許容し、高価なページフォールトオーバーヘッドを排除している。 これにより、局所性を活かし、GNNトレーニングに有効な帯域幅を増やすための新しい最適化を設計できる。 テラバイト規模のGNNデータセット上の1つのGPUを用いて評価したところ、GIDSデータローダは、現在最先端のDGLデータローダと比較して、DGL GNNトレーニングパイプライン全体を最大392倍高速化することがわかった。

関連論文リスト

• LSM-GNN: Large-scale Storage-based Multi-GPU GNN Training by Optimizing Data Transfer Scheme [12.64360444043247]
  グラフニューラルネットワーク(GNN)は、今日ではリコメンデーションシステム、不正検出、ノード/リンク分類タスクで広く使われている。 限られたメモリ容量に対応するため、従来のGNNトレーニングアプローチでは、グラフ分割とシャーディング技術を使用している。 大規模ストレージベースマルチGPUGNNフレームワーク(LSM-GNN)を提案する。 LSM-GNNは、静的ノード情報と動的ノード情報の両方を用いて、キャッシュ空間をインテリジェントに管理するハイブリッドな消去ポリシーを組み込んでいる。
  論文  参考訳（メタデータ） (2024-07-21T20:41:39Z)
• Reducing Memory Contention and I/O Congestion for Disk-based GNN Training [6.492879435794228]
  グラフニューラルネットワーク(GNN)が広く普及している。高次元特徴を持つ大規模グラフが一般的になり、その上でGNNを訓練するのは簡単ではない。 巨大なグラフが与えられた場合、トレーニングプロセス中にグラフ全体のデータをメモリに保持することは困難であるため、サンプルベースのGNNトレーニングでさえ効率的に動作できない。 したがって、メモリとI/Oはディスクベースのトレーニングに不可欠である。
  論文  参考訳（メタデータ） (2024-06-20T04:24:51Z)
• Communication-Free Distributed GNN Training with Vertex Cut [63.22674903170953]
  CoFree-GNNは、コミュニケーションのないトレーニングを実装することで、トレーニングプロセスを大幅に高速化する、分散GNNトレーニングフレームワークである。 我々は、CoFree-GNNが既存の最先端のGNNトレーニングアプローチよりも最大10倍高速なGNNトレーニングプロセスを実証した。
  論文  参考訳（メタデータ） (2023-08-06T21:04:58Z)
• DistTGL: Distributed Memory-Based Temporal Graph Neural Network Training [18.52206409432894]
  DistTGLは、分散GPUクラスタ上でメモリベースのTGNNをトレーニングするための、効率的でスケーラブルなソリューションである。 実験では、DistTGLはほぼ直線収束のスピードアップを実現し、最先端のシングルマシン法を14.5%、トレーニングスループットは10.17倍に向上した。
  論文  参考訳（メタデータ） (2023-07-14T22:52:27Z)
• Communication-Efficient Graph Neural Networks with Probabilistic Neighborhood Expansion Analysis and Caching [59.8522166385372]
  大規模グラフ上でのグラフニューラルネットワーク(GNN)のトレーニングと推論は、GNNの登場以来活発に研究されている。 本稿では,分散環境におけるノードワイドサンプリングを用いたGNNによるミニバッチ学習と推論について述べる。 分割された特徴データを扱うために,従来のSALIENTシステムを拡張したSALIENT++を提案する。
  論文  参考訳（メタデータ） (2023-05-04T21:04:01Z)
• A Comprehensive Study on Large-Scale Graph Training: Benchmarking and Rethinking [124.21408098724551]
  グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である 本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。 提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
  論文  参考訳（メタデータ） (2022-10-14T03:43:05Z)
• Scaling R-GCN Training with Graph Summarization [71.06855946732296]
  リレーショナルグラフ畳み込みネットワーク(R-GCN)のトレーニングは、グラフのサイズに合わない。 本研究では,グラフの要約手法を用いてグラフを圧縮する実験を行った。 AIFB, MUTAG, AMデータセットについて妥当な結果を得た。
  論文  参考訳（メタデータ） (2022-03-05T00:28:43Z)
• BGL: GPU-Efficient GNN Training by Optimizing Graph Data I/O and Preprocessing [0.0]
  グラフニューラルネットワーク(GNN)は、ディープニューラルネットワーク(DNN)の成功を非ユークリッドグラフデータに拡張した。 既存のシステムは、数十億のノードとエッジを持つ巨大なグラフをGPUでトレーニングする非効率である。 本稿では,ボトルネックに対処するための分散GNN学習システムであるBGLを提案する。
  論文  参考訳（メタデータ） (2021-12-16T00:37:37Z)
• MG-GCN: Scalable Multi-GPU GCN Training Framework [1.7188280334580197]
  グラフ畳み込みネットワーク(GCN)モデルの完全なバッチトレーニングは、大きなグラフのための単一のGPUでは実現できない。 MG-GCNは、メモリバッファの効率的な再使用を含む、複数のハイパフォーマンスコンピューティング最適化を採用している。 MG-GCNは、DGX-1(V100)とDGX-A100の両方のRedditグラフ上で、DGLに関する超線形スピードアップを達成する。
  論文  参考訳（メタデータ） (2021-10-17T00:41:43Z)
• DistGNN: Scalable Distributed Training for Large-Scale Graph Neural Networks [58.48833325238537]
  大規模グラフの構造を学ぶためにGNN(Graph Neural Networks)のフルバッチトレーニングは、実現可能な数百の計算ノードにスケールする必要がある重要な問題です。 本稿では,CPUクラスタ上でのフルバッチトレーニングのためのDGL(Deep Graph Library)を最適化したGNNについて述べる。 4つの一般的なGNNベンチマークデータセットの結果は、1つのCPUソケットを使用して最大3.7倍のスピードアップ、128のCPUソケットを使用して最大97倍のスピードアップを示す。
  論文  参考訳（メタデータ） (2021-04-14T08:46:35Z)
• A Unified Lottery Ticket Hypothesis for Graph Neural Networks [82.31087406264437]
  本稿では,グラフ隣接行列とモデルの重み付けを同時に行う統一GNNスペーシフィケーション(UGS)フレームワークを提案する。 グラフ宝くじ(GLT)をコアサブデータセットとスパースサブネットワークのペアとして定義することにより、人気のある宝くじチケット仮説を初めてGNNsにさらに一般化します。
  論文  参考訳（メタデータ） (2021-02-12T21:52:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。