論文の概要: GraphTheta: A Distributed Graph Neural Network Learning System With
Flexible Training Strategy
- arxiv url: http://arxiv.org/abs/2104.10569v1
- Date: Wed, 21 Apr 2021 14:51:33 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-22 14:13:35.486622
- Title: GraphTheta: A Distributed Graph Neural Network Learning System With
Flexible Training Strategy
- Title(参考訳): GraphTheta: 柔軟なトレーニング戦略を備えた分散グラフニューラルネットワーク学習システム
- Authors: Houyi Li, Yongchao Liu, Yongyong Li, Bin Huang, Peng Zhang, Guowei
Zhang, Xintan Zeng, Kefeng Deng, Wenguang Chen, and Changhua He
- Abstract要約: 新しい分散グラフ学習システムGraphThetaを紹介します。
複数のトレーニング戦略をサポートし、大規模グラフ上で効率的でスケーラブルな学習を可能にします。
この仕事は、文学における10億規模のネットワーク上で実施された最大のエッジアトリビュートGNN学習タスクを表します。
- 参考スコア(独自算出の注目度): 5.466414428765544
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph neural networks (GNNs) have been demonstrated as a powerful tool for
analysing non-Euclidean graph data. However, the lack of efficient distributed
graph learning systems severely hinders applications of GNNs, especially when
graphs are big, of high density or with highly skewed node degree
distributions. In this paper, we present a new distributed graph learning
system GraphTheta, which supports multiple training strategies and enables
efficient and scalable learning on big graphs. GraphTheta implements both
localized and globalized graph convolutions on graphs, where a new graph
learning abstraction NN-TGAR is designed to bridge the gap between graph
processing and graph learning frameworks. A distributed graph engine is
proposed to conduct the stochastic gradient descent optimization with
hybrid-parallel execution. Moreover, we add support for a new cluster-batched
training strategy in addition to the conventional global-batched and
mini-batched ones. We evaluate GraphTheta using a number of network data with
network size ranging from small-, modest- to large-scale. Experimental results
show that GraphTheta scales almost linearly to 1,024 workers and trains an
in-house developed GNN model within 26 hours on Alipay dataset of 1.4 billion
nodes and 4.1 billion attributed edges. Moreover, GraphTheta also obtains
better prediction results than the state-of-the-art GNN methods. To the best of
our knowledge, this work represents the largest edge-attributed GNN learning
task conducted on a billion-scale network in the literature.
- Abstract(参考訳): グラフニューラルネットワーク(GNN)は、非ユークリッドグラフデータを分析する強力なツールとして実証されている。
しかし、効率的な分散グラフ学習システムの欠如は、特にグラフが大きければ、高密度、あるいは高度に歪んだノード次数分布を持つ場合、GNNの応用を著しく妨げる。
本稿では,複数の学習戦略をサポートし,大規模グラフ上で効率的かつスケーラブルな学習を実現する,分散グラフ学習システムであるgraphthetaを提案する。
GraphThetaはグラフにローカライズされたグラフ畳み込みとグローバル化されたグラフ畳み込みを実装しており、新しいグラフ学習抽象化NN-TGARはグラフ処理とグラフ学習フレームワークのギャップを埋めるように設計されている。
ハイブリッド並列実行を伴う確率的勾配降下最適化を行うために,分散グラフエンジンを提案する。
さらに,従来のグローバルバッチおよびミニバッチに加えて,新たなクラスタバッチトレーニング戦略のサポートも追加する。
ネットワークサイズが小さく, モデストから大規模まで, 多数のネットワークデータを用いてGraphThetaを評価する。
実験の結果、GraphThetaは1024人の労働者にほぼ線形にスケールし、14億ノードと410億エッジのAlipayデータセット上で26時間以内に社内で開発されたGNNモデルをトレーニングしている。
さらに、GraphThetaは最先端のGNN手法よりも優れた予測結果を得る。
我々の知る限り、この研究は文学における10億規模のネットワーク上で実施された、エッジ対応のGNN学習タスクとしては最大である。
関連論文リスト
- Graph Unlearning with Efficient Partial Retraining [28.433619085748447]
グラフニューラルネットワーク(GNN)は、様々な現実世界のアプリケーションで顕著な成功を収めている。
GNNは、望ましくないグラフデータに基づいてトレーニングされ、パフォーマンスと信頼性を低下させることができる。
学習不能なGNNのモデルユーティリティをよりよく維持するグラフアンラーニングフレームワークであるGraphRevokerを提案する。
論文 参考訳(メタデータ) (2024-03-12T06:22:10Z) - Training Graph Neural Networks on Growing Stochastic Graphs [114.75710379125412]
グラフニューラルネットワーク(GNN)は、ネットワーク化されたデータの意味のあるパターンを活用するために、グラフ畳み込みに依存している。
我々は,成長するグラフ列の極限オブジェクトであるグラフオンを利用して,非常に大きなグラフ上のGNNを学習することを提案する。
論文 参考訳(メタデータ) (2022-10-27T16:00:45Z) - Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。
GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。
提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
論文 参考訳(メタデータ) (2022-03-03T09:53:53Z) - Increase and Conquer: Training Graph Neural Networks on Growing Graphs [116.03137405192356]
本稿では,このグラフからBernoulliをサンプリングしたグラフ上でGNNをトレーニングすることで,WNN(Graphon Neural Network)を学習する問題を考察する。
これらの結果から着想を得た大規模グラフ上でGNNを学習するアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-06-07T15:05:59Z) - Co-embedding of Nodes and Edges with Graph Neural Networks [13.020745622327894]
グラフ埋め込みは、高次元および非ユークリッド特徴空間でデータ構造を変換しエンコードする方法である。
CensNetは一般的なグラフ埋め込みフレームワークで、ノードとエッジの両方を潜在機能空間に埋め込む。
提案手法は,4つのグラフ学習課題における最先端のパフォーマンスを達成または一致させる。
論文 参考訳(メタデータ) (2020-10-25T22:39:31Z) - Graph Contrastive Learning with Augmentations [109.23158429991298]
グラフデータの教師なし表現を学習するためのグラフコントラスト学習(GraphCL)フレームワークを提案する。
我々のフレームワークは、最先端の手法と比較して、類似またはより良い一般化可能性、転送可能性、堅牢性のグラフ表現を作成できることを示す。
論文 参考訳(メタデータ) (2020-10-22T20:13:43Z) - Lifelong Graph Learning [6.282881904019272]
連続グラフ学習問題を正規グラフ学習問題に変換することにより、グラフ学習と生涯学習を橋渡しする。
機能グラフネットワーク(FGN)は,ウェアラブルデバイスを用いた生涯の人間行動認識と特徴マッチングという2つのアプリケーションにおいて,優れた性能を発揮することを示す。
論文 参考訳(メタデータ) (2020-09-01T18:21:34Z) - MathNet: Haar-Like Wavelet Multiresolution-Analysis for Graph
Representation and Learning [31.42901131602713]
本稿では,マルチレゾリューション・ハール型ウェーブレット(MathNet)を用いたグラフニューラルネットワークのためのフレームワークを提案する。
提案したMathNetは、特にデータセットにおいて、既存のGNNモデルよりも優れている。
論文 参考訳(メタデータ) (2020-07-22T05:00:59Z) - Multilevel Graph Matching Networks for Deep Graph Similarity Learning [79.3213351477689]
グラフ構造オブジェクト間のグラフ類似性を計算するためのマルチレベルグラフマッチングネットワーク(MGMN)フレームワークを提案する。
標準ベンチマークデータセットの欠如を補うため、グラフグラフ分類とグラフグラフ回帰タスクの両方のためのデータセットセットを作成し、収集した。
総合的な実験により、MGMNはグラフグラフ分類とグラフグラフ回帰タスクの両方において、最先端のベースラインモデルより一貫して優れていることが示された。
論文 参考訳(メタデータ) (2020-07-08T19:48:19Z) - Scaling Graph Neural Networks with Approximate PageRank [64.92311737049054]
GNNにおける情報拡散の効率的な近似を利用したPPRGoモデルを提案する。
高速であることに加えて、PPRGoは本質的にスケーラブルであり、業界設定で見られるような大規模なデータセットに対して、自明に並列化することができる。
このグラフのすべてのノードに対するPPRGoのトレーニングとラベルの予測には1台のマシンで2分未満で、同じグラフ上の他のベースラインをはるかに上回ります。
論文 参考訳(メタデータ) (2020-07-03T09:30:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。