論文の概要: A Comprehensive Study on Large-Scale Graph Training: Benchmarking and Rethinking

• arxiv url: http://arxiv.org/abs/2210.07494v1
• Date: Fri, 14 Oct 2022 03:43:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-17 15:22:08.547772
• Title: A Comprehensive Study on Large-Scale Graph Training: Benchmarking and Rethinking
• Title（参考訳）: 大規模グラフトレーニングに関する総合的研究:ベンチマークと再考
• Authors: Keyu Duan, Zirui Liu, Peihao Wang, Wenqing Zheng, Kaixiong Zhou, Tianlong Chen, Xia Hu, Zhangyang Wang
• Abstract要約: グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である 本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。 提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
• 参考スコア（独自算出の注目度）: 124.21408098724551
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large-scale graph training is a notoriously challenging problem for graph neural networks (GNNs). Due to the nature of evolving graph structures into the training process, vanilla GNNs usually fail to scale up, limited by the GPU memory space. Up to now, though numerous scalable GNN architectures have been proposed, we still lack a comprehensive survey and fair benchmark of this reservoir to find the rationale for designing scalable GNNs. To this end, we first systematically formulate the representative methods of large-scale graph training into several branches and further establish a fair and consistent benchmark for them by a greedy hyperparameter searching. In addition, regarding efficiency, we theoretically evaluate the time and space complexity of various branches and empirically compare them w.r.t GPU memory usage, throughput, and convergence. Furthermore, We analyze the pros and cons for various branches of scalable GNNs and then present a new ensembling training manner, named EnGCN, to address the existing issues. Remarkably, our proposed method has achieved new state-of-the-art (SOTA) performance on large-scale datasets. Our code is available at https://github.com/VITA-Group/Large_Scale_GCN_Benchmarking.
• Abstract（参考訳）: 大規模グラフトレーニングは、グラフニューラルネットワーク(GNN)にとって非常に難しい問題である。 トレーニングプロセスにグラフ構造が進化する性質のため、バニラGNNは通常、GPUメモリスペースによって制限されたスケールアップに失敗する。 これまでのところ、多くのスケーラブルなGNNアーキテクチャが提案されているが、スケーラブルなGNNを設計する根拠を見つけるための包括的な調査と、この貯水池の公正なベンチマークは、まだ残っていない。 そこで,我々はまず,大規模グラフ学習の代表的手法を複数のブランチに体系的に定式化し,さらにグリージーなハイパーパラメータ探索により,公平で一貫したベンチマークを確立する。 さらに効率に関して,様々なブランチの時間と空間の複雑さを理論的に評価し,w.r.t gpuメモリ使用率,スループット,収束率を実験的に比較した。 さらに,スケーラブルなgnnのさまざまなブランチの長所と短所を分析し,既存の問題に対処するために,engcnと呼ばれる新しいセンシングトレーニング手法を提案する。 注目すべきことに,提案手法は大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。 私たちのコードはhttps://github.com/vita-group/large_scale_gcn_benchmarkingで利用可能です。

関連論文リスト

• Graph Transformers for Large Graphs [57.19338459218758]
  この研究は、モデルの特徴と重要な設計制約を識別することに焦点を当てた、単一の大規模グラフでの表現学習を前進させる。 この研究の重要な革新は、局所的な注意機構と組み合わされた高速な近傍サンプリング技術の作成である。 ogbn-products と snap-patents の3倍の高速化と16.8%の性能向上を報告し、ogbn-100M で LargeGT を5.9% の性能改善で拡張した。
  論文  参考訳（メタデータ） (2023-12-18T11:19:23Z)
• Fast and Effective GNN Training with Linearized Random Spanning Trees [20.73637495151938]
  ノード分類タスクにおいて,GNNをトレーニングするための,より効果的でスケーラブルなフレームワークを提案する。 提案手法は, ランダムに分布する木々の広範囲に分布するGNN重みを徐々に改善する。 これらの経路グラフのスパース性は、GNN訓練の計算負担を大幅に軽減する。
  論文  参考訳（メタデータ） (2023-06-07T23:12:42Z)
• Characterizing the Efficiency of Graph Neural Network Frameworks with a Magnifying Glass [10.839902229218577]
  グラフニューラルネットワーク(GNN)は、さまざまなグラフ関連学習タスクの成功により、大きな注目を集めている。 近年のGNNは,大規模グラフ上でのGNNのミニバッチトレーニングのために,異なるグラフサンプリング手法を用いて開発されている。 グリーンコンピューティングの観点から、フレームワークがどの程度"エコフレンドリー"であるかは不明だ。
  論文  参考訳（メタデータ） (2022-11-06T04:22:19Z)
• Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural Networks [52.566735716983956]
  本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。 LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。 提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2022-07-18T14:23:31Z)
• NAS-Bench-Graph: Benchmarking Graph Neural Architecture Search [55.75621026447599]
  NAS-Bench-Graphは、GraphNASの統一的、再現可能、効率的な評価をサポートする調整されたベンチマークである。 具体的には,26,206のユニークなグラフニューラルネットワーク(GNN)アーキテクチャを網羅した,統一的で表現力のあるコンパクトな検索空間を構築する。 提案したベンチマークに基づいて,GNNアーキテクチャの性能を検索テーブルから直接取得できるが,それ以上の計算は行わない。
  論文  参考訳（メタデータ） (2022-06-18T10:17:15Z)
• Bag of Tricks for Training Deeper Graph Neural Networks: A Comprehensive Benchmark Study [100.27567794045045]
  ディープグラフニューラルネットワーク(GNN)のトレーニングは、非常に難しい。 我々は、深層GNNの「トリック」を評価するための最初の公正かつ再現可能なベンチマークを示す。
  論文  参考訳（メタデータ） (2021-08-24T05:00:37Z)
• A Unified Lottery Ticket Hypothesis for Graph Neural Networks [82.31087406264437]
  本稿では,グラフ隣接行列とモデルの重み付けを同時に行う統一GNNスペーシフィケーション(UGS)フレームワークを提案する。 グラフ宝くじ(GLT)をコアサブデータセットとスパースサブネットワークのペアとして定義することにより、人気のある宝くじチケット仮説を初めてGNNsにさらに一般化します。
  論文  参考訳（メタデータ） (2021-02-12T21:52:43Z)
• Ripple Walk Training: A Subgraph-based training framework for Large and Deep Graph Neural Network [10.36962234388739]
  本稿では,深部および大規模グラフニューラルネットワークのための一般的なサブグラフベーストレーニングフレームワークであるRipple Walk Training(RWT)を提案する。 RWTは、全グラフからサブグラフをサンプリングしてミニバッチを構成し、全GNNはミニバッチ勾配に基づいて更新される。 グラフの異なるサイズに関する大規模な実験は、様々なGNNを訓練する際のRWTの有効性と効率を実証している。
  論文  参考訳（メタデータ） (2020-02-17T19:07:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。