論文の概要: Marius++: Large-Scale Training of Graph Neural Networks on a Single Machine

• arxiv url: http://arxiv.org/abs/2202.02365v1
• Date: Fri, 4 Feb 2022 20:00:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-08 17:47:45.898397
• Title: Marius++: Large-Scale Training of Graph Neural Networks on a Single Machine
• Title（参考訳）: Marius++: 単一マシン上でのグラフニューラルネットワークの大規模トレーニング
• Authors: Roger Waleffe, Jason Mohoney, Theodoros Rekatsinas, Shivaram Venkataraman
• Abstract要約: グラフニューラルネットワーク(GNN)は、グラフ構造化データに対するMLの強力なモデルとして登場した。 数十億のグラフ上でGNNをトレーニングするシステムであるMarius++を紹介する。
• 参考スコア（独自算出の注目度）: 9.60891537112176
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph Neural Networks (GNNs) have emerged as a powerful model for ML over graph-structured data. Yet, scalability remains a major challenge for using GNNs over billion-edge inputs. The creation of mini-batches used for training incurs computational and data movement costs that grow exponentially with the number of GNN layers as state-of-the-art models aggregate information from the multi-hop neighborhood of each input node. In this paper, we focus on scalable training of GNNs with emphasis on resource efficiency. We show that out-of-core pipelined mini-batch training in a single machine outperforms resource-hungry multi-GPU solutions. We introduce Marius++, a system for training GNNs over billion-scale graphs. Marius++ provides disk-optimized training for GNNs and introduces a series of data organization and algorithmic contributions that 1) minimize the memory-footprint and end-to-end time required for training and 2) ensure that models learned with disk-based training exhibit accuracy similar to those fully trained in mixed CPU/GPU settings. We evaluate Marius++ against PyTorch Geometric and Deep Graph Library using seven benchmark (model, data set) settings and find that Marius++ with one GPU can achieve the same level of model accuracy up to 8$\times$ faster than these systems when they are using up to eight GPUs. For these experiments, disk-based training allows Marius++ deployments to be up to 64$\times$ cheaper in monetary cost than those of the competing systems.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、グラフ構造化データに対するMLの強力なモデルとして登場した。 しかし、数十億のエッジ入力でGNNを使用する場合、スケーラビリティは依然として大きな課題である。 トレーニングに使用されるミニバッチの作成は、各入力ノードのマルチホップ近傍からの情報を集約する最先端モデルとして、GNN層の数と指数関数的に増加する計算およびデータ移動コストを発生させる。 本稿では,資源効率を重視したGNNのスケーラブルなトレーニングに焦点を当てる。 コア外パイプラインによる単一マシンでのミニバッチトレーニングは、リソース不足のマルチGPUソリューションより優れていることを示す。 数十億のグラフ上でGNNをトレーニングするシステムであるMarius++を紹介する。 Marius++はGNNのディスク最適化トレーニングを提供し、一連のデータ組織とアルゴリズムによるコントリビューションを導入している。 1)トレーニングに必要なメモリフットプリントとエンドツーエンドの時間を最小化する。 2) ディスクベースのトレーニングで学んだモデルは、CPU/GPUの混合設定で完全にトレーニングされたモデルと同様の精度を示す。 我々は7つのベンチマーク(モデル、データセット)設定を使用して、pytorch幾何およびディープグラフライブラリに対するmarius++を評価し、1つのgpuを持つmarius++が、最大8つのgpuを使用する場合、これらのシステムと同じレベルのモデルの精度を最大8$\times$で達成できることを見出した。 これらの実験では、ディスクベースのトレーニングにより、marius++のデプロイメントは、競合システムよりも最大64$\times$の金銭的コストで済む。

関連論文リスト

• CATGNN: Cost-Efficient and Scalable Distributed Training for Graph Neural Networks [7.321893519281194]
  既存の分散システムは、グラフパーティショニングのためにメモリ内のグラフ全体をロードします。 低コストでスケーラブルな分散GNNトレーニングシステムであるCATGNNを提案する。 また、分散GNNトレーニングのためのSPRingという新しいストリーミング分割アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-04-02T20:55:39Z)
• DistTGL: Distributed Memory-Based Temporal Graph Neural Network Training [18.52206409432894]
  DistTGLは、分散GPUクラスタ上でメモリベースのTGNNをトレーニングするための、効率的でスケーラブルなソリューションである。 実験では、DistTGLはほぼ直線収束のスピードアップを実現し、最先端のシングルマシン法を14.5%、トレーニングスループットは10.17倍に向上した。
  論文  参考訳（メタデータ） (2023-07-14T22:52:27Z)
• Accelerating Sampling and Aggregation Operations in GNN Frameworks with GPU Initiated Direct Storage Accesses [9.773813896475264]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データから学習するための強力なツールとして登場している。 大規模グラフ上でのGNNのトレーニングは、効率的なデータアクセスとデータ移動方法が欠如しているため、依然として大きな課題である。 大規模グラフに対するGPU指向GNNトレーニングを実現するために,GPU Initiated Direct Storage Access (GIDS) データローダを提案する。
  論文  参考訳（メタデータ） (2023-06-28T17:22:15Z)
• Graph Ladling: Shockingly Simple Parallel GNN Training without Intermediate Communication [100.51884192970499]
  GNNは、グラフを学習するニューラルネットワークの強力なファミリーである。 GNNのスケーリングは、肥大化または拡大によって、不健康な勾配、過度なスムースメント、情報のスカッシングといった問題に悩まされる。 本稿では,現在のGNNの深層化や拡張ではなく,GNNに適したモデルスープをデータ中心の視点で表現することを提案する。
  論文  参考訳（メタデータ） (2023-06-18T03:33:46Z)
• A Comprehensive Study on Large-Scale Graph Training: Benchmarking and Rethinking [124.21408098724551]
  グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である 本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。 提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
  論文  参考訳（メタデータ） (2022-10-14T03:43:05Z)
• Nimble GNN Embedding with Tensor-Train Decomposition [10.726368002799765]
  本稿では、テンソルトレイン(TT)分解によりグラフニューラルネットワーク(GNN)の埋め込みテーブルをよりコンパクトに表現する新しい手法について述べる。 場合によっては、入力に明示的なノード機能がないモデルでも、ノード機能を使用するモデルの精度にマッチすることもある。
  論文  参考訳（メタデータ） (2022-06-21T17:57:35Z)
• Accelerating Training and Inference of Graph Neural Networks with Fast Sampling and Pipelining [58.10436813430554]
  グラフニューラルネットワーク(GNN)のミニバッチトレーニングには、多くの計算とデータ移動が必要である。 我々は,分散マルチGPU環境において,近傍サンプリングを用いたミニバッチトレーニングを行うことを支持する。 本稿では,これらのボトルネックを緩和する一連の改良点について述べる。 また,サンプリングによる推論を支援する実験分析を行い,試験精度が実質的に損なわれていないことを示す。
  論文  参考訳（メタデータ） (2021-10-16T02:41:35Z)
• Training Graph Neural Networks with 1000 Layers [133.84813995275988]
  我々は、GNNのメモリとパラメータ効率を向上させるために、可逆接続、グループ畳み込み、重み付け、平衡モデルについて検討する。 我々の知る限りでは、RevGNN-Deepは文学で最も深いGNNである。
  論文  参考訳（メタデータ） (2021-06-14T15:03:00Z)
• Global Neighbor Sampling for Mixed CPU-GPU Training on Giant Graphs [26.074384252289384]
  グラフニューラルネットワーク(GNN)は、グラフデータから学習するための強力なツールであり、様々なアプリケーションで広く利用されている。 大規模なグラフ上でのミニバッチトレーニングを実現するためのサンプリングベース手法が数多く提案されているが、これらの手法は真の産業規模のグラフ上では機能していない。 我々は,CPU-GPUの混合学習に特化して,GNNを巨大なグラフ上でトレーニングすることを目的としたグローバル近隣サンプリングを提案する。
  論文  参考訳（メタデータ） (2021-06-11T03:30:25Z)
• DistGNN: Scalable Distributed Training for Large-Scale Graph Neural Networks [58.48833325238537]
  大規模グラフの構造を学ぶためにGNN(Graph Neural Networks)のフルバッチトレーニングは、実現可能な数百の計算ノードにスケールする必要がある重要な問題です。 本稿では,CPUクラスタ上でのフルバッチトレーニングのためのDGL(Deep Graph Library)を最適化したGNNについて述べる。 4つの一般的なGNNベンチマークデータセットの結果は、1つのCPUソケットを使用して最大3.7倍のスピードアップ、128のCPUソケットを使用して最大97倍のスピードアップを示す。
  論文  参考訳（メタデータ） (2021-04-14T08:46:35Z)
• A Unified Lottery Ticket Hypothesis for Graph Neural Networks [82.31087406264437]
  本稿では,グラフ隣接行列とモデルの重み付けを同時に行う統一GNNスペーシフィケーション(UGS)フレームワークを提案する。 グラフ宝くじ(GLT)をコアサブデータセットとスパースサブネットワークのペアとして定義することにより、人気のある宝くじチケット仮説を初めてGNNsにさらに一般化します。
  論文  参考訳（メタデータ） (2021-02-12T21:52:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。