論文の概要: Ripple Walk Training: A Subgraph-based training framework for Large and
Deep Graph Neural Network
- arxiv url: http://arxiv.org/abs/2002.07206v3
- Date: Tue, 4 May 2021 16:22:20 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-31 12:18:45.041311
- Title: Ripple Walk Training: A Subgraph-based training framework for Large and
Deep Graph Neural Network
- Title（参考訳）: Ripple Walk Training: 大規模および深部グラフニューラルネットワークのためのサブグラフベースのトレーニングフレームワーク
- Authors: Jiyang Bai, Yuxiang Ren, Jiawei Zhang
- Abstract要約: 本稿では,深部および大規模グラフニューラルネットワークのための一般的なサブグラフベーストレーニングフレームワークであるRipple Walk Training(RWT)を提案する。
RWTは、全グラフからサブグラフをサンプリングしてミニバッチを構成し、全GNNはミニバッチ勾配に基づいて更新される。
グラフの異なるサイズに関する大規模な実験は、様々なGNNを訓練する際のRWTの有効性と効率を実証している。
- 参考スコア（独自算出の注目度）: 10.36962234388739
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph neural networks (GNNs) have achieved outstanding performance in
learning graph-structured data and various tasks. However, many current GNNs
suffer from three common problems when facing large-size graphs or using a
deeper structure: neighbors explosion, node dependence, and oversmoothing. Such
problems attribute to the data structures of the graph itself or the designing
of the multi-layers GNNs framework, and can lead to low training efficiency and
high space complexity. To deal with these problems, in this paper, we propose a
general subgraph-based training framework, namely Ripple Walk Training (RWT),
for deep and large graph neural networks. RWT samples subgraphs from the full
graph to constitute a mini-batch, and the full GNN is updated based on the
mini-batch gradient. We analyze the high-quality subgraphs to train GNNs in a
theoretical way. A novel sampling method Ripple Walk Sampler works for sampling
these high-quality subgraphs to constitute the mini-batch, which considers both
the randomness and connectivity of the graph-structured data. Extensive
experiments on different sizes of graphs demonstrate the effectiveness and
efficiency of RWT in training various GNNs (GCN & GAT).
- Abstract（参考訳）: グラフニューラルネットワーク(GNN)は,グラフ構造化データやさまざまなタスクの学習において,優れたパフォーマンスを実現している。
しかし、現在のGNNの多くは、大きなグラフに直面する場合や、近隣の爆発、ノード依存、過剰なスムーシングといったより深い構造を使用する場合の3つの一般的な問題に悩まされている。
このような問題は、グラフ自体のデータ構造や多層GNNフレームワークの設計によるものであり、訓練効率の低下と空間の複雑さにつながる可能性がある。
これらの問題に対処するため,本論文では,深部および大規模グラフニューラルネットワークのための一般的なサブグラフベーストレーニングフレームワークであるRipple Walk Training(RWT)を提案する。
RWTは、全グラフからサブグラフをサンプリングしてミニバッチを構成し、全GNNはミニバッチ勾配に基づいて更新される。
我々は、GNNを理論的に訓練するための高品質なサブグラフを分析する。
新しいサンプリング手法Ripple Walk Samplerは、これらの高品質なサブグラフをサンプリングしてミニバッチを構成するのに役立ち、グラフ構造化データのランダム性と接続性の両方を考慮する。
グラフの異なるサイズに関する大規模な実験は、様々なGNN(GCN & GAT)の訓練におけるRWTの有効性と効率を実証している。
関連論文リスト
- Sketch-GNN: Scalable Graph Neural Networks with Sublinear Training Complexity [30.2972965458946]
グラフネットワーク(GNN)はノード分類などのグラフ学習問題に広く適用されている。
GNNの基盤となるグラフをより大きなサイズにスケールアップする場合、完全なグラフをトレーニングするか、あるいは完全なグラフの隣接とノードのメモリへの埋め込みを維持せざるを得ません。
本稿では,学習時間と記憶量がグラフサイズに比例して増加するスケッチベースアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-06-21T18:22:11Z) - DFA-GNN: Forward Learning of Graph Neural Networks by Direct Feedback Alignment [57.62885438406724]
グラフニューラルネットワークは、様々なアプリケーションにまたがる強力なパフォーマンスで認識されている。
BPには、その生物学的妥当性に挑戦する制限があり、グラフベースのタスクのためのトレーニングニューラルネットワークの効率、スケーラビリティ、並列性に影響を与える。
半教師付き学習のケーススタディを用いて,GNNに適した新しい前方学習フレームワークであるDFA-GNNを提案する。
論文 参考訳（メタデータ） (2024-06-04T07:24:51Z) - A Local Graph Limits Perspective on Sampling-Based GNNs [7.601210044390688]
本稿では,グラフニューラルネットワーク(GNN)を大規模入力グラフ上で学習するための理論的枠組みを提案する。
大規模な入力グラフの小さなサンプルを用いてサンプリングベースGNNのトレーニングから得られたパラメータが、グラフ全体において同じアーキテクチャをトレーニングした結果の$epsilon$近傍にあることを証明した。
論文 参考訳（メタデータ） (2023-10-17T02:58:49Z) - Label Deconvolution for Node Representation Learning on Large-scale
Attributed Graphs against Learning Bias [75.44877675117749]
本稿では,GNNの逆写像に対する新しい,スケーラブルな近似による学習バイアスを軽減するために,ラベルの効率的な正規化手法,すなわちラベルのデコンボリューション(LD)を提案する。
実験では、LDはOpen Graphデータセットのベンチマークで最先端のメソッドを大幅に上回っている。
論文 参考訳（メタデータ） (2023-09-26T13:09:43Z) - Fast and Effective GNN Training with Linearized Random Spanning Trees [20.73637495151938]
ノード分類タスクにおいて,GNNをトレーニングするための,より効果的でスケーラブルなフレームワークを提案する。
提案手法は, ランダムに分布する木々の広範囲に分布するGNN重みを徐々に改善する。
これらの経路グラフのスパース性は、GNN訓練の計算負担を大幅に軽減する。
論文 参考訳（メタデータ） (2023-06-07T23:12:42Z) - A Comprehensive Study on Large-Scale Graph Training: Benchmarking and
Rethinking [124.21408098724551]
グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である
本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。
提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
論文 参考訳（メタデータ） (2022-10-14T03:43:05Z) - Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural
Networks [52.566735716983956]
本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。
LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。
提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
論文 参考訳（メタデータ） (2022-07-18T14:23:31Z) - Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。
GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。
提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
論文 参考訳（メタデータ） (2022-03-03T09:53:53Z) - Measuring and Sampling: A Metric-guided Subgraph Learning Framework for
Graph Neural Network [11.017348743924426]
グラフニューラルネットワーク(GNN)のためのMetric-Guided(MeGuide)サブグラフ学習フレームワークを提案する。
MeGuideでは、サブグラフサンプリングとミニバッチベースのトレーニングのガイドとして、Feature SmoothnessとConnection Failure Distanceという2つの新しいメトリクスを使用している。
複数のデータセット上で様々なGNNをトレーニングする上で,MeGuideの有効性と有効性を示す。
論文 参考訳（メタデータ） (2021-12-30T11:00:00Z) - Increase and Conquer: Training Graph Neural Networks on Growing Graphs [116.03137405192356]
本稿では,このグラフからBernoulliをサンプリングしたグラフ上でGNNをトレーニングすることで,WNN(Graphon Neural Network)を学習する問題を考察する。
これらの結果から着想を得た大規模グラフ上でGNNを学習するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-06-07T15:05:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。