Fugu-MT 論文翻訳(概要): LSM-GNN: Large-scale Storage-based Multi-GPU GNN Training by Optimizing Data Transfer Scheme

論文の概要: LSM-GNN: Large-scale Storage-based Multi-GPU GNN Training by Optimizing Data Transfer Scheme

arxiv url: http://arxiv.org/abs/2407.15264v1
Date: Sun, 21 Jul 2024 20:41:39 GMT
ステータス: 処理完了
システム内更新日: 2024-07-23 16:40:17.724261
Title: LSM-GNN: Large-scale Storage-based Multi-GPU GNN Training by Optimizing Data Transfer Scheme
Title（参考訳）: LSM-GNN:データ転送方式の最適化による大規模ストレージベースマルチGPUGNNトレーニング
Authors: Jeongmin Brian Park, Kun Wu, Vikram Sharma Mailthody, Zaid Quresh, Scott Mahlke, Wen-mei Hwu,
Abstract要約: グラフニューラルネットワーク(GNN)は、今日ではリコメンデーションシステム、不正検出、ノード/リンク分類タスクで広く使われている。限られたメモリ容量に対応するため、従来のGNNトレーニングアプローチでは、グラフ分割とシャーディング技術を使用している。大規模ストレージベースマルチGPUGNNフレームワーク(LSM-GNN)を提案する。 LSM-GNNは、静的ノード情報と動的ノード情報の両方を用いて、キャッシュ空間をインテリジェントに管理するハイブリッドな消去ポリシーを組み込んでいる。
参考スコア（独自算出の注目度）: 12.64360444043247
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: Graph Neural Networks (GNNs) are widely used today in recommendation systems, fraud detection, and node/link classification tasks. Real world GNNs continue to scale in size and require a large memory footprint for storing graphs and embeddings that often exceed the memory capacities of the target GPUs used for training. To address limited memory capacities, traditional GNN training approaches use graph partitioning and sharding techniques to scale up across multiple GPUs within a node and/or scale out across multiple nodes. However, this approach suffers from the high computational costs of graph partitioning algorithms and inefficient communication across GPUs. To address these overheads, we propose Large-scale Storage-based Multi-GPU GNN framework (LSM-GNN), a storagebased approach to train GNN models that utilizes a novel communication layer enabling GPU software caches to function as a system-wide shared cache with low overheads.LSM-GNN incorporates a hybrid eviction policy that intelligently manages cache space by using both static and dynamic node information to significantly enhance cache performance. Furthermore, we introduce the Preemptive Victim-buffer Prefetcher (PVP), a mechanism for prefetching node feature data from a Victim Buffer located in CPU pinned-memory to further reduce the pressure on the storage devices. Experimental results show that despite the lower compute capabilities and memory capacities, LSM-GNN in a single node with two GPUs offers superior performance over two-node-four-GPU Dist-DGL baseline and provides up to 3.75x speed up on end-to-end epoch time while running large-scale GNN training
Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、今日ではリコメンデーションシステム、不正検出、ノード/リンク分類タスクで広く使われている。現実のGNNはサイズを拡大し続け、トレーニングに使用するGPUのメモリ容量を超えることが多いグラフや埋め込みを格納するために大きなメモリフットプリントを必要とする。限られたメモリ容量に対応するため、従来のGNNトレーニングアプローチでは、グラフパーティショニングとシャーディング技術を使用して、ノード内の複数のGPUをまたいだスケールアップと、複数のノードへのスケールアウトを実現している。しかし、このアプローチはグラフ分割アルゴリズムの計算コストが高く、GPU間の非効率な通信に悩まされている。これらのオーバーヘッドに対処するため、我々は、GNNモデルを訓練するための大規模ストレージベースマルチGPU GNNフレームワーク(LSM-GNN)を提案する。これは、GPUソフトウェアキャッシュを低オーバーヘッドでシステム全体の共有キャッシュとして機能させる新しい通信層を利用するストレージベースアプローチである。LSM-GNNは、静的ノード情報と動的ノード情報の両方を用いてキャッシュ空間をインテリジェントに管理し、キャッシュ性能を著しく向上するハイブリッドエビクションポリシーを取り入れている。さらに、プリエンプティブVictim-buffer Prefetcher(PVP)を導入し、CPUピンメモリ内のVictim Bufferからノード特徴データをプリフェッチし、ストレージ装置の圧力をさらに低減する。実験結果によると、計算能力とメモリ容量が低いにもかかわらず、2つのGPUを持つ単一ノードのSM-GNNは、2ノードの4GPU Dist-DGLベースラインよりも優れた性能を示し、大規模GNNトレーニングを実行しながら、エンドツーエンドのエポックタイムで最大3.75倍の速度を提供する。

関連論文リスト

DiskGNN: Bridging I/O Efficiency and Model Accuracy for Out-of-Core GNN Training [12.945647145403438]
グラフニューラルネットワーク(GNN)は、グラフデータに特化した機械学習モデルであり、多くのアプリケーションで広く利用されている。 DiskGNNは、モデル精度を損なうことなく、高いI/O効率と高速なトレーニングを実現する。我々はDikGNNとGinexとMariusGNNを比較した。
論文参考訳（メタデータ） (2024-05-08T17:27:11Z)
Communication-Free Distributed GNN Training with Vertex Cut [63.22674903170953]
CoFree-GNNは、コミュニケーションのないトレーニングを実装することで、トレーニングプロセスを大幅に高速化する、分散GNNトレーニングフレームワークである。我々は、CoFree-GNNが既存の最先端のGNNトレーニングアプローチよりも最大10倍高速なGNNトレーニングプロセスを実証した。
論文参考訳（メタデータ） (2023-08-06T21:04:58Z)
Accelerating Sampling and Aggregation Operations in GNN Frameworks with GPU Initiated Direct Storage Accesses [9.773813896475264]
グラフニューラルネットワーク(GNN)は、グラフ構造化データから学習するための強力なツールとして登場している。大規模グラフ上でのGNNのトレーニングは、効率的なデータアクセスとデータ移動方法が欠如しているため、依然として大きな課題である。大規模グラフに対するGPU指向GNNトレーニングを実現するために,GPU Initiated Direct Storage Access (GIDS) データローダを提案する。
論文参考訳（メタデータ） (2023-06-28T17:22:15Z)
BatchGNN: Efficient CPU-Based Distributed GNN Training on Very Large Graphs [2.984386665258243]
BatchGNNは、テラバイト規模のグラフ上でGNNを効率的にトレーニングするテクニックを披露する分散CPUシステムである。 BatchGNNは、OGBNグラフでトレーニングされた3つのGNNモデルに対して、DistDGLよりも平均3倍のスピードアップを実現している。
論文参考訳（メタデータ） (2023-06-23T23:25:34Z)
Communication-Efficient Graph Neural Networks with Probabilistic Neighborhood Expansion Analysis and Caching [59.8522166385372]
大規模グラフ上でのグラフニューラルネットワーク(GNN)のトレーニングと推論は、GNNの登場以来活発に研究されている。本稿では,分散環境におけるノードワイドサンプリングを用いたGNNによるミニバッチ学習と推論について述べる。分割された特徴データを扱うために,従来のSALIENTシステムを拡張したSALIENT++を提案する。
論文参考訳（メタデータ） (2023-05-04T21:04:01Z)
GNNAutoScale: Scalable and Expressive Graph Neural Networks via Historical Embeddings [51.82434518719011]
GNNAutoScale(GAS)は、任意のメッセージパスGNNを大規模グラフにスケールするためのフレームワークである。ガスは、前回のトレーニングの繰り返しから過去の埋め込みを利用して計算グラフのサブツリー全体を掘り起こします。ガスは大規模グラフ上で最先端のパフォーマンスに達する。
論文参考訳（メタデータ） (2021-06-10T09:26:56Z)
GNNIE: GNN Inference Engine with Load-balancing and Graph-Specific Caching [2.654276707313136]
GNNIEは、幅広いグラフニューラルネットワーク(GNN)を実行するために設計されたアクセラレータである。 i)ノード特徴オペランドをブロックに分割し、 (ii) 再注文と再配布を行い、 (iii) 処理要素間の通信オーバーヘッドの少ない柔軟なMACアーキテクチャを使用する。 GNNIEは、CPU上の8890倍、グラフアテンションネットワーク(GAT)、グラフ畳み込みネットワーク(GCN)、GraphSAGE、GINConv、DiffPool上の複数のデータセット上のGPU上の295倍の平均スピードアップを達成する。
論文参考訳（メタデータ） (2021-05-21T20:07:14Z)
DistGNN: Scalable Distributed Training for Large-Scale Graph Neural Networks [58.48833325238537]
大規模グラフの構造を学ぶためにGNN(Graph Neural Networks)のフルバッチトレーニングは、実現可能な数百の計算ノードにスケールする必要がある重要な問題です。本稿では,CPUクラスタ上でのフルバッチトレーニングのためのDGL(Deep Graph Library)を最適化したGNNについて述べる。 4つの一般的なGNNベンチマークデータセットの結果は、1つのCPUソケットを使用して最大3.7倍のスピードアップ、128のCPUソケットを使用して最大97倍のスピードアップを示す。
論文参考訳（メタデータ） (2021-04-14T08:46:35Z)
A Unified Lottery Ticket Hypothesis for Graph Neural Networks [82.31087406264437]
本稿では,グラフ隣接行列とモデルの重み付けを同時に行う統一GNNスペーシフィケーション(UGS)フレームワークを提案する。グラフ宝くじ(GLT)をコアサブデータセットとスパースサブネットワークのペアとして定義することにより、人気のある宝くじチケット仮説を初めてGNNsにさらに一般化します。
論文参考訳（メタデータ） (2021-02-12T21:52:43Z)
Binary Graph Neural Networks [69.51765073772226]
グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
論文参考訳（メタデータ） (2020-12-31T18:48:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。