論文の概要: Ginex: SSD-enabled Billion-scale Graph Neural Network Training on a
Single Machine via Provably Optimal In-memory Caching
- arxiv url: http://arxiv.org/abs/2208.09151v1
- Date: Fri, 19 Aug 2022 04:57:18 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-22 17:23:56.737097
- Title: Ginex: SSD-enabled Billion-scale Graph Neural Network Training on a
Single Machine via Provably Optimal In-memory Caching
- Title(参考訳): ginex:ssd対応の10億規模のグラフニューラルネットワークトレーニングを最適なインメモリキャッシュで実現
- Authors: Yeonhong Park, Sunhong Min, Jae W. Lee
- Abstract要約: グラフニューラルネットワーク(GNN)は、構造化データ上の様々なグラフタスクを効果的に提供する強力なツールとして注目を浴びている。
実世界のグラフのサイズが拡大を続けるにつれ、GNNトレーニングシステムはスケーラビリティの課題に直面している。
我々は,1台のマシン上で数十億のグラフデータセットを処理可能な,SSDベースの初のGNNトレーニングシステムであるGinexを提案する。
- 参考スコア(独自算出の注目度): 3.0479527348064197
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recently, Graph Neural Networks (GNNs) have been receiving a spotlight as a
powerful tool that can effectively serve various inference tasks on graph
structured data. As the size of real-world graphs continues to scale, the GNN
training system faces a scalability challenge. Distributed training is a
popular approach to address this challenge by scaling out CPU nodes. However,
not much attention has been paid to disk-based GNN training, which can scale up
the single-node system in a more cost-effective manner by leveraging
high-performance storage devices like NVMe SSDs. We observe that the data
movement between the main memory and the disk is the primary bottleneck in the
SSD-based training system, and that the conventional GNN training pipeline is
sub-optimal without taking this overhead into account. Thus, we propose Ginex,
the first SSD-based GNN training system that can process billion-scale graph
datasets on a single machine. Inspired by the inspector-executor execution
model in compiler optimization, Ginex restructures the GNN training pipeline by
separating sample and gather stages. This separation enables Ginex to realize a
provably optimal replacement algorithm, known as Belady's algorithm, for
caching feature vectors in memory, which account for the dominant portion of
I/O accesses. According to our evaluation with four billion-scale graph
datasets, Ginex achieves 2.11x higher training throughput on average (up to
2.67x at maximum) than the SSD-extended PyTorch Geometric.
- Abstract(参考訳): 近年、グラフニューラルネットワーク(GNN)は、グラフ構造化データに対する様々な推論タスクを効果的に提供する強力なツールとして注目を浴びている。
実世界のグラフのサイズが拡大を続けるにつれ、GNNトレーニングシステムはスケーラビリティの課題に直面している。
分散トレーニングは、CPUノードをスケールアウトすることでこの問題に対処する一般的なアプローチである。
しかし、ディスクベースのGNNトレーニングにはそれほど注意が払われておらず、NVMe SSDのような高性能ストレージデバイスを活用することで、シングルノードシステムをよりコスト効率よくスケールアップすることができる。
我々は,ssdベースのトレーニングシステムにおいて,メインメモリとディスク間のデータ移動が主要なボトルネックであり,従来のgnnトレーニングパイプラインは,このオーバーヘッドを考慮せずに最適化されていることを確認した。
そこで我々は,1台のマシン上で数十億のグラフデータセットを処理可能な,SSDベースの初のGNNトレーニングシステムであるGinexを提案する。
コンパイラ最適化におけるインスペクタ-実行モデルにインスパイアされたginexは、サンプルと収集ステージを分離してgnnトレーニングパイプラインを再構成する。
この分離により、ginexは、i/oアクセスの優位部分を占めるメモリ上の特徴ベクトルをキャッシュするbeladyアルゴリズムとして知られる、確実に最適な置換アルゴリズムを実現することができる。
40億のグラフデータセットを用いた評価によれば、ginexは平均で2.11倍のトレーニングスループットを実現している(最大で2.67倍)。
関連論文リスト
- An Experimental Comparison of Partitioning Strategies for Distributed
Graph Neural Network Training [14.588837832182026]
グラフニューラルネットワーク(GNN)は,グラフ構造化データから学習可能な深層学習の領域として注目されている。
本稿では,分散GNN学習におけるグラフ分割の有効性について検討する。
論文 参考訳(メタデータ) (2023-08-29T19:47:31Z) - Cached Operator Reordering: A Unified View for Fast GNN Training [24.917363701638607]
グラフニューラルネットワーク(GNN)は、構造化グラフデータを扱う強力なツールであり、ノード分類、グラフ分類、クラスタリングといったタスクに対処する。
しかし、GNN計算のスパース性は、従来のディープニューラルネットワークと比較してパフォーマンス最適化に新たな課題をもたらす。
GNN計算,I/O,メモリの統一的なビューを提供することで,これらの課題に対処する。
論文 参考訳(メタデータ) (2023-08-23T12:27:55Z) - Communication-Free Distributed GNN Training with Vertex Cut [63.22674903170953]
CoFree-GNNは、コミュニケーションのないトレーニングを実装することで、トレーニングプロセスを大幅に高速化する、分散GNNトレーニングフレームワークである。
我々は、CoFree-GNNが既存の最先端のGNNトレーニングアプローチよりも最大10倍高速なGNNトレーニングプロセスを実証した。
論文 参考訳(メタデータ) (2023-08-06T21:04:58Z) - Communication-Efficient Graph Neural Networks with Probabilistic
Neighborhood Expansion Analysis and Caching [59.8522166385372]
大規模グラフ上でのグラフニューラルネットワーク(GNN)のトレーニングと推論は、GNNの登場以来活発に研究されている。
本稿では,分散環境におけるノードワイドサンプリングを用いたGNNによるミニバッチ学習と推論について述べる。
分割された特徴データを扱うために,従来のSALIENTシステムを拡張したSALIENT++を提案する。
論文 参考訳(メタデータ) (2023-05-04T21:04:01Z) - Scalable Graph Convolutional Network Training on Distributed-Memory
Systems [5.169989177779801]
グラフ畳み込みネットワーク(GCN)はグラフの深層学習に広く利用されている。
グラフ上の畳み込み操作は不規則なメモリアクセスパターンを誘導するので、GCNトレーニングのためのメモリと通信効率の並列アルゴリズムを設計することはユニークな課題である。
本稿では,大規模プロセッサ数にスケールする並列トレーニングアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-12-09T17:51:13Z) - A Comprehensive Study on Large-Scale Graph Training: Benchmarking and
Rethinking [124.21408098724551]
グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である
本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。
提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
論文 参考訳(メタデータ) (2022-10-14T03:43:05Z) - Benchmarking GNN-Based Recommender Systems on Intel Optane Persistent
Memory [9.216391057418566]
グラフニューラルネットワーク(GNN)は、グラフ上の機械学習タスクを処理する効果的な方法として登場した。
GNNベースのリコメンデータシステム(GNNRecSys)を大規模グラフでトレーニングすると、大きなメモリフットプリントが発生する。
シングルマシンのOptaneベースのGNNRecSysトレーニングは、分散トレーニングよりも大きなマージンで優れていることを示す。
論文 参考訳(メタデータ) (2022-07-25T06:08:24Z) - BGL: GPU-Efficient GNN Training by Optimizing Graph Data I/O and
Preprocessing [0.0]
グラフニューラルネットワーク(GNN)は、ディープニューラルネットワーク(DNN)の成功を非ユークリッドグラフデータに拡張した。
既存のシステムは、数十億のノードとエッジを持つ巨大なグラフをGPUでトレーニングする非効率である。
本稿では,ボトルネックに対処するための分散GNN学習システムであるBGLを提案する。
論文 参考訳(メタデータ) (2021-12-16T00:37:37Z) - DistGNN: Scalable Distributed Training for Large-Scale Graph Neural
Networks [58.48833325238537]
大規模グラフの構造を学ぶためにGNN(Graph Neural Networks)のフルバッチトレーニングは、実現可能な数百の計算ノードにスケールする必要がある重要な問題です。
本稿では,CPUクラスタ上でのフルバッチトレーニングのためのDGL(Deep Graph Library)を最適化したGNNについて述べる。
4つの一般的なGNNベンチマークデータセットの結果は、1つのCPUソケットを使用して最大3.7倍のスピードアップ、128のCPUソケットを使用して最大97倍のスピードアップを示す。
論文 参考訳(メタデータ) (2021-04-14T08:46:35Z) - A Unified Lottery Ticket Hypothesis for Graph Neural Networks [82.31087406264437]
本稿では,グラフ隣接行列とモデルの重み付けを同時に行う統一GNNスペーシフィケーション(UGS)フレームワークを提案する。
グラフ宝くじ(GLT)をコアサブデータセットとスパースサブネットワークのペアとして定義することにより、人気のある宝くじチケット仮説を初めてGNNsにさらに一般化します。
論文 参考訳(メタデータ) (2021-02-12T21:52:43Z) - Scaling Graph Neural Networks with Approximate PageRank [64.92311737049054]
GNNにおける情報拡散の効率的な近似を利用したPPRGoモデルを提案する。
高速であることに加えて、PPRGoは本質的にスケーラブルであり、業界設定で見られるような大規模なデータセットに対して、自明に並列化することができる。
このグラフのすべてのノードに対するPPRGoのトレーニングとラベルの予測には1台のマシンで2分未満で、同じグラフ上の他のベースラインをはるかに上回ります。
論文 参考訳(メタデータ) (2020-07-03T09:30:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。