Fugu-MT 論文翻訳(概要): GraphTheta: A Distributed Graph Neural Network Learning System With Flexible Training Strategy

論文の概要: GraphTheta: A Distributed Graph Neural Network Learning System With Flexible Training Strategy

arxiv url: http://arxiv.org/abs/2104.10569v1
Date: Wed, 21 Apr 2021 14:51:33 GMT
ステータス: 処理完了
システム内更新日: 2021-04-22 14:13:35.486622
Title: GraphTheta: A Distributed Graph Neural Network Learning System With Flexible Training Strategy
Title（参考訳）: GraphTheta: 柔軟なトレーニング戦略を備えた分散グラフニューラルネットワーク学習システム
Authors: Houyi Li, Yongchao Liu, Yongyong Li, Bin Huang, Peng Zhang, Guowei Zhang, Xintan Zeng, Kefeng Deng, Wenguang Chen, and Changhua He
Abstract要約: 新しい分散グラフ学習システムGraphThetaを紹介します。複数のトレーニング戦略をサポートし、大規模グラフ上で効率的でスケーラブルな学習を可能にします。この仕事は、文学における10億規模のネットワーク上で実施された最大のエッジアトリビュートGNN学習タスクを表します。
参考スコア（独自算出の注目度）: 5.466414428765544
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Graph neural networks (GNNs) have been demonstrated as a powerful tool for analysing non-Euclidean graph data. However, the lack of efficient distributed graph learning systems severely hinders applications of GNNs, especially when graphs are big, of high density or with highly skewed node degree distributions. In this paper, we present a new distributed graph learning system GraphTheta, which supports multiple training strategies and enables efficient and scalable learning on big graphs. GraphTheta implements both localized and globalized graph convolutions on graphs, where a new graph learning abstraction NN-TGAR is designed to bridge the gap between graph processing and graph learning frameworks. A distributed graph engine is proposed to conduct the stochastic gradient descent optimization with hybrid-parallel execution. Moreover, we add support for a new cluster-batched training strategy in addition to the conventional global-batched and mini-batched ones. We evaluate GraphTheta using a number of network data with network size ranging from small-, modest- to large-scale. Experimental results show that GraphTheta scales almost linearly to 1,024 workers and trains an in-house developed GNN model within 26 hours on Alipay dataset of 1.4 billion nodes and 4.1 billion attributed edges. Moreover, GraphTheta also obtains better prediction results than the state-of-the-art GNN methods. To the best of our knowledge, this work represents the largest edge-attributed GNN learning task conducted on a billion-scale network in the literature.
Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、非ユークリッドグラフデータを分析する強力なツールとして実証されている。しかし、効率的な分散グラフ学習システムの欠如は、特にグラフが大きければ、高密度、あるいは高度に歪んだノード次数分布を持つ場合、GNNの応用を著しく妨げる。本稿では,複数の学習戦略をサポートし,大規模グラフ上で効率的かつスケーラブルな学習を実現する,分散グラフ学習システムであるgraphthetaを提案する。 GraphThetaはグラフにローカライズされたグラフ畳み込みとグローバル化されたグラフ畳み込みを実装しており、新しいグラフ学習抽象化NN-TGARはグラフ処理とグラフ学習フレームワークのギャップを埋めるように設計されている。ハイブリッド並列実行を伴う確率的勾配降下最適化を行うために,分散グラフエンジンを提案する。さらに,従来のグローバルバッチおよびミニバッチに加えて,新たなクラスタバッチトレーニング戦略のサポートも追加する。ネットワークサイズが小さく, モデストから大規模まで, 多数のネットワークデータを用いてGraphThetaを評価する。実験の結果、GraphThetaは1024人の労働者にほぼ線形にスケールし、14億ノードと410億エッジのAlipayデータセット上で26時間以内に社内で開発されたGNNモデルをトレーニングしている。さらに、GraphThetaは最先端のGNN手法よりも優れた予測結果を得る。我々の知る限り、この研究は文学における10億規模のネットワーク上で実施された、エッジ対応のGNN学習タスクとしては最大である。

関連論文リスト

Graph Structure Prompt Learning: A Novel Methodology to Improve Performance of Graph Neural Networks [13.655670509818144]
グラフネットワーク(GNN)のトレーニングを強化するための新しいグラフ構造Prompt Learning法(GPL)を提案する。 GPLはタスク非依存のグラフ構造損失を利用して、GNNが下流タスクを同時に解決しながら固有のグラフ特性を学習することを奨励している。 11の実世界のデータセットの実験では、ニューラルネットワークによってトレーニングされた後、GNNはノード分類、グラフ分類、エッジタスクにおいて、元のパフォーマンスを大幅に上回った。
論文参考訳（メタデータ） (2024-07-16T03:59:18Z)
Sketch-GNN: Scalable Graph Neural Networks with Sublinear Training Complexity [30.2972965458946]
グラフネットワーク(GNN)はノード分類などのグラフ学習問題に広く適用されている。 GNNの基盤となるグラフをより大きなサイズにスケールアップする場合、完全なグラフをトレーニングするか、あるいは完全なグラフの隣接とノードのメモリへの埋め込みを維持せざるを得ません。本稿では,学習時間と記憶量がグラフサイズに比例して増加するスケッチベースアルゴリズムを提案する。
論文参考訳（メタデータ） (2024-06-21T18:22:11Z)
GraphAlign: Pretraining One Graph Neural Network on Multiple Graphs via Feature Alignment [30.56443056293688]
グラフ自己教師型学習(SSL)は、グラフ構造化データによるマイニングと学習をかなり約束する。本研究では,グラフニューラルネットワーク(GNN)を,豊富なノード特徴を持つグラフのコレクションにプリトレーニングすることを目的としている。本稿では,既存のグラフSSLフレームワークにシームレスに統合可能な汎用GraphAlign法を提案する。
論文参考訳（メタデータ） (2024-06-05T05:22:32Z)
Training Graph Neural Networks on Growing Stochastic Graphs [114.75710379125412]
グラフニューラルネットワーク(GNN)は、ネットワーク化されたデータの意味のあるパターンを活用するために、グラフ畳み込みに依存している。我々は,成長するグラフ列の極限オブジェクトであるグラフオンを利用して,非常に大きなグラフ上のGNNを学習することを提案する。
論文参考訳（メタデータ） (2022-10-27T16:00:45Z)
Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
論文参考訳（メタデータ） (2022-03-03T09:53:53Z)
Increase and Conquer: Training Graph Neural Networks on Growing Graphs [116.03137405192356]
本稿では,このグラフからBernoulliをサンプリングしたグラフ上でGNNをトレーニングすることで,WNN(Graphon Neural Network)を学習する問題を考察する。これらの結果から着想を得た大規模グラフ上でGNNを学習するアルゴリズムを提案する。
論文参考訳（メタデータ） (2021-06-07T15:05:59Z)
Co-embedding of Nodes and Edges with Graph Neural Networks [13.020745622327894]
グラフ埋め込みは、高次元および非ユークリッド特徴空間でデータ構造を変換しエンコードする方法である。 CensNetは一般的なグラフ埋め込みフレームワークで、ノードとエッジの両方を潜在機能空間に埋め込む。提案手法は,4つのグラフ学習課題における最先端のパフォーマンスを達成または一致させる。
論文参考訳（メタデータ） (2020-10-25T22:39:31Z)
Graph Contrastive Learning with Augmentations [109.23158429991298]
グラフデータの教師なし表現を学習するためのグラフコントラスト学習(GraphCL)フレームワークを提案する。我々のフレームワークは、最先端の手法と比較して、類似またはより良い一般化可能性、転送可能性、堅牢性のグラフ表現を作成できることを示す。
論文参考訳（メタデータ） (2020-10-22T20:13:43Z)
Multilevel Graph Matching Networks for Deep Graph Similarity Learning [79.3213351477689]
グラフ構造オブジェクト間のグラフ類似性を計算するためのマルチレベルグラフマッチングネットワーク(MGMN)フレームワークを提案する。標準ベンチマークデータセットの欠如を補うため、グラフグラフ分類とグラフグラフ回帰タスクの両方のためのデータセットセットを作成し、収集した。総合的な実験により、MGMNはグラフグラフ分類とグラフグラフ回帰タスクの両方において、最先端のベースラインモデルより一貫して優れていることが示された。
論文参考訳（メタデータ） (2020-07-08T19:48:19Z)
Scaling Graph Neural Networks with Approximate PageRank [64.92311737049054]
GNNにおける情報拡散の効率的な近似を利用したPPRGoモデルを提案する。高速であることに加えて、PPRGoは本質的にスケーラブルであり、業界設定で見られるような大規模なデータセットに対して、自明に並列化することができる。このグラフのすべてのノードに対するPPRGoのトレーニングとラベルの予測には1台のマシンで2分未満で、同じグラフ上の他のベースラインをはるかに上回ります。
論文参考訳（メタデータ） (2020-07-03T09:30:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。