論文の概要: DistDGL: Distributed Graph Neural Network Training for Billion-Scale Graphs

• arxiv url: http://arxiv.org/abs/2010.05337v3
• Date: Mon, 2 Aug 2021 18:30:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-08 13:59:43.154377
• Title: DistDGL: Distributed Graph Neural Network Training for Billion-Scale Graphs
• Title（参考訳）: distdgl:数十億規模のグラフのための分散グラフニューラルネットワークトレーニング
• Authors: Da Zheng, Chao Ma, Minjie Wang, Jinjing Zhou, Qidong Su, Xiang Song, Quan Gan, Zheng Zhang, George Karypis
• Abstract要約: DistDGLは、マシンのクラスタ上で、ミニバッチ方式でGNNをトレーニングするシステムである。 これは人気のあるGNN開発フレームワークであるDeep Graph Library(DGL)に基づいている。 この結果から,DistDGLはモデル精度を損なうことなく線形高速化を実現することがわかった。
• 参考スコア（独自算出の注目度）: 22.63888380481248
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph neural networks (GNN) have shown great success in learning from graph-structured data. They are widely used in various applications, such as recommendation, fraud detection, and search. In these domains, the graphs are typically large, containing hundreds of millions of nodes and several billions of edges. To tackle this challenge, we develop DistDGL, a system for training GNNs in a mini-batch fashion on a cluster of machines. DistDGL is based on the Deep Graph Library (DGL), a popular GNN development framework. DistDGL distributes the graph and its associated data (initial features and embeddings) across the machines and uses this distribution to derive a computational decomposition by following an owner-compute rule. DistDGL follows a synchronous training approach and allows ego-networks forming the mini-batches to include non-local nodes. To minimize the overheads associated with distributed computations, DistDGL uses a high-quality and light-weight min-cut graph partitioning algorithm along with multiple balancing constraints. This allows it to reduce communication overheads and statically balance the computations. It further reduces the communication by replicating halo nodes and by using sparse embedding updates. The combination of these design choices allows DistDGL to train high-quality models while achieving high parallel efficiency and memory scalability. We demonstrate our optimizations on both inductive and transductive GNN models. Our results show that DistDGL achieves linear speedup without compromising model accuracy and requires only 13 seconds to complete a training epoch for a graph with 100 million nodes and 3 billion edges on a cluster with 16 machines. DistDGL is now publicly available as part of DGL:https://github.com/dmlc/dgl/tree/master/python/dgl/distributed.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は,グラフ構造化データから学ぶ上で大きな成功を収めている。 これらはリコメンデーション、不正検出、検索など様々な用途で広く利用されている。 これらの領域では、グラフは通常大きく、数十億のノードと数十億のエッジを含む。 この課題に対処するため,マシンクラスタ上でGNNをミニバッチでトレーニングするシステムであるDistDGLを開発した。 DistDGLは人気のあるGNN開発フレームワークであるDeep Graph Library(DGL)に基づいている。 DistDGLは、グラフとその関連データ(初期特徴と埋め込み)をマシンに分散し、この分布を使用して、オーナー計算ルールに従うことによって計算分解を導出する。 distdglは同期トレーニングアプローチに従い、ミニバッチを形成するegoネットワークが非ローカルノードを含むことができる。 分散計算に伴うオーバーヘッドを最小限に抑えるため、DistDGLは高品質で軽量なミニカットグラフ分割アルゴリズムと複数のバランス制約を使用する。 これにより、通信オーバーヘッドを減らし、静的に計算のバランスをとることができる。 haloノードを複製し、スパース埋め込み更新を使用することで、通信をさらに削減する。 これらの設計選択を組み合わせることで、DistDGLは高品質なモデルをトレーニングし、高い並列効率とメモリスケーラビリティを実現することができる。 インダクティブGNNモデルとトランスダクティブGNNモデルの両方で最適化を行う。 この結果から,DistDGLはモデル精度を損なうことなく線形高速化を実現し,1億ノード,30億エッジのクラスタを持つグラフのトレーニングエポックを完成させるのに13秒しか要しないことがわかった。 DistDGLは、DGL:https://github.com/dmlc/dgl/tree/master/python/dgl/distributedの一部として公開されている。

関連論文リスト

• GLISP: A Scalable GNN Learning System by Exploiting Inherent Structural Properties of Graphs [5.410321469222541]
  産業規模グラフのためのサンプリングベースGNN学習システムであるGLISPを提案する。 GLISPは、グラフパーティショナ、グラフサンプリングサービス、グラフ推論エンジンの3つのコアコンポーネントで構成されている。 実験の結果、GLISPはトレーニングと推論タスクのために既存のGNNシステムよりも最大6.53タイム、70.77タイムのスピードアップを達成した。
  論文  参考訳（メタデータ） (2024-01-06T02:59:24Z)
• Graph Transformers for Large Graphs [57.19338459218758]
  この研究は、モデルの特徴と重要な設計制約を識別することに焦点を当てた、単一の大規模グラフでの表現学習を前進させる。 この研究の重要な革新は、局所的な注意機構と組み合わされた高速な近傍サンプリング技術の作成である。 ogbn-products と snap-patents の3倍の高速化と16.8%の性能向上を報告し、ogbn-100M で LargeGT を5.9% の性能改善で拡張した。
  論文  参考訳（メタデータ） (2023-12-18T11:19:23Z)
• Communication-Free Distributed GNN Training with Vertex Cut [63.22674903170953]
  CoFree-GNNは、コミュニケーションのないトレーニングを実装することで、トレーニングプロセスを大幅に高速化する、分散GNNトレーニングフレームワークである。 我々は、CoFree-GNNが既存の最先端のGNNトレーニングアプローチよりも最大10倍高速なGNNトレーニングプロセスを実証した。
  論文  参考訳（メタデータ） (2023-08-06T21:04:58Z)
• DistTGL: Distributed Memory-Based Temporal Graph Neural Network Training [18.52206409432894]
  DistTGLは、分散GPUクラスタ上でメモリベースのTGNNをトレーニングするための、効率的でスケーラブルなソリューションである。 実験では、DistTGLはほぼ直線収束のスピードアップを実現し、最先端のシングルマシン法を14.5%、トレーニングスループットは10.17倍に向上した。
  論文  参考訳（メタデータ） (2023-07-14T22:52:27Z)
• Scalable Graph Convolutional Network Training on Distributed-Memory Systems [5.169989177779801]
  グラフ畳み込みネットワーク(GCN)はグラフの深層学習に広く利用されている。 グラフ上の畳み込み操作は不規則なメモリアクセスパターンを誘導するので、GCNトレーニングのためのメモリと通信効率の並列アルゴリズムを設計することはユニークな課題である。 本稿では,大規模プロセッサ数にスケールする並列トレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-09T17:51:13Z)
• Training Graph Neural Networks on Growing Stochastic Graphs [114.75710379125412]
  グラフニューラルネットワーク(GNN)は、ネットワーク化されたデータの意味のあるパターンを活用するために、グラフ畳み込みに依存している。 我々は,成長するグラフ列の極限オブジェクトであるグラフオンを利用して,非常に大きなグラフ上のGNNを学習することを提案する。
  論文  参考訳（メタデータ） (2022-10-27T16:00:45Z)
• TGL: A General Framework for Temporal GNN Training on Billion-Scale Graphs [17.264420882897017]
  大規模なオフライン時間グラフニューラルネットワークトレーニングのための統合フレームワークであるTGLを提案する。 TGLは5つの主要コンポーネント、時間サンプリング、メールボックス、ノードメモリモジュール、メモリ更新、メッセージパッシングエンジンから構成される。 我々は、0.2と13億の時間エッジを持つ2つの大規模な実世界のデータセットを紹介した。
  論文  参考訳（メタデータ） (2022-03-28T16:41:18Z)
• BGL: GPU-Efficient GNN Training by Optimizing Graph Data I/O and Preprocessing [0.0]
  グラフニューラルネットワーク(GNN)は、ディープニューラルネットワーク(DNN)の成功を非ユークリッドグラフデータに拡張した。 既存のシステムは、数十億のノードとエッジを持つ巨大なグラフをGPUでトレーニングする非効率である。 本稿では,ボトルネックに対処するための分散GNN学習システムであるBGLを提案する。
  論文  参考訳（メタデータ） (2021-12-16T00:37:37Z)
• DistGNN: Scalable Distributed Training for Large-Scale Graph Neural Networks [58.48833325238537]
  大規模グラフの構造を学ぶためにGNN(Graph Neural Networks)のフルバッチトレーニングは、実現可能な数百の計算ノードにスケールする必要がある重要な問題です。 本稿では,CPUクラスタ上でのフルバッチトレーニングのためのDGL(Deep Graph Library)を最適化したGNNについて述べる。 4つの一般的なGNNベンチマークデータセットの結果は、1つのCPUソケットを使用して最大3.7倍のスピードアップ、128のCPUソケットを使用して最大97倍のスピードアップを示す。
  論文  参考訳（メタデータ） (2021-04-14T08:46:35Z)
• A Unified Lottery Ticket Hypothesis for Graph Neural Networks [82.31087406264437]
  本稿では,グラフ隣接行列とモデルの重み付けを同時に行う統一GNNスペーシフィケーション(UGS)フレームワークを提案する。 グラフ宝くじ(GLT)をコアサブデータセットとスパースサブネットワークのペアとして定義することにより、人気のある宝くじチケット仮説を初めてGNNsにさらに一般化します。
  論文  参考訳（メタデータ） (2021-02-12T21:52:43Z)
• Iterative Deep Graph Learning for Graph Neural Networks: Better and Robust Node Embeddings [53.58077686470096]
  グラフ構造とグラフ埋め込みを協調的かつ反復的に学習するための、エンドツーエンドのグラフ学習フレームワーク、すなわち、IDGL(Iterative Deep Graph Learning)を提案する。 実験の結果,提案したIDGLモデルは,最先端のベースラインを一貫して上回る,あるいは一致させることができることがわかった。
  論文  参考訳（メタデータ） (2020-06-21T19:49:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。