論文の概要: Bag of Tricks for Training Deeper Graph Neural Networks: A Comprehensive Benchmark Study

• arxiv url: http://arxiv.org/abs/2108.10521v1
• Date: Tue, 24 Aug 2021 05:00:37 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-25 14:27:21.392816
• Title: Bag of Tricks for Training Deeper Graph Neural Networks: A Comprehensive Benchmark Study
• Title（参考訳）: より深いグラフニューラルネットワークのトレーニングのためのトリックのバグ:包括的なベンチマーク研究
• Authors: Tianlong Chen, Kaixiong Zhou, Keyu Duan, Wenqing Zheng, Peihao Wang, Xia Hu, Zhangyang Wang
• Abstract要約: ディープグラフニューラルネットワーク(GNN)のトレーニングは、非常に難しい。 我々は、深層GNNの「トリック」を評価するための最初の公正かつ再現可能なベンチマークを示す。
• 参考スコア（独自算出の注目度）: 100.27567794045045
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training deep graph neural networks (GNNs) is notoriously hard. Besides the standard plights in training deep architectures such as vanishing gradients and overfitting, the training of deep GNNs also uniquely suffers from over-smoothing, information squashing, and so on, which limits their potential power on large-scale graphs. Although numerous efforts are proposed to address these limitations, such as various forms of skip connections, graph normalization, and random dropping, it is difficult to disentangle the advantages brought by a deep GNN architecture from those "tricks" necessary to train such an architecture. Moreover, the lack of a standardized benchmark with fair and consistent experimental settings poses an almost insurmountable obstacle to gauging the effectiveness of new mechanisms. In view of those, we present the first fair and reproducible benchmark dedicated to assessing the "tricks" of training deep GNNs. We categorize existing approaches, investigate their hyperparameter sensitivity, and unify the basic configuration. Comprehensive evaluations are then conducted on tens of representative graph datasets including the recent large-scale Open Graph Benchmark (OGB), with diverse deep GNN backbones. Based on synergistic studies, we discover the combo of superior training tricks, that lead us to attain the new state-of-the-art results for deep GCNs, across multiple representative graph datasets. We demonstrate that an organic combo of initial connection, identity mapping, group and batch normalization has the most ideal performance on large datasets. Experiments also reveal a number of "surprises" when combining or scaling up some of the tricks. All codes are available at https://github.com/VITA-Group/Deep_GCN_Benchmarking.
• Abstract（参考訳）: ディープグラフニューラルネットワーク(GNN)のトレーニングは非常に難しい。 勾配の消失や過度な適合といった深層アーキテクチャのトレーニングの標準点に加えて、深層GNNのトレーニングは過度なスムーシングや情報スカッシングなどの影響を受けており、大規模なグラフに対する潜在的なパワーを制限している。 様々な種類のスキップ接続、グラフ正規化、ランダムなドロップなど、これらの制限に対処するための多くの取り組みが提案されているが、そのようなアーキテクチャをトレーニングするために必要な「トリック」から、深いGNNアーキテクチャがもたらす利点を解消することは困難である。 さらに、公正で一貫した実験的な設定を持つ標準ベンチマークの欠如は、新しいメカニズムの有効性を調べる上でほぼ不可能である。 これらの観点から、我々は、深層GNNの「トリック」を評価するための最初の公正かつ再現可能なベンチマークを示す。 既存のアプローチを分類し,そのハイパーパラメータ感度を調査し,基本構成を統一する。 総合的な評価は、最近の大規模Open Graph Benchmark(OGB)を含む、数十のグラフデータセット上で実施される。 相乗的研究に基づいて,複数の代表的なグラフデータセットにわたる深層gcnの新たな最先端結果を達成するための,優れたトレーニングトリックのコンボを見出した。 我々は,初期接続,アイデンティティマッピング,グループ正規化,バッチ正規化といった有機的な組み合わせが,大規模データセットにおいて最も理想的な性能を持つことを示す。 実験はまた、いくつかのトリックを組み合わせたりスケールアップしたりする際に、いくつかの"サプライズ"を明らかにする。 すべてのコードはhttps://github.com/VITA-Group/Deep_GCN_Benchmarkingで入手できる。

関連論文リスト

• A Comprehensive Study on Large-Scale Graph Training: Benchmarking and Rethinking [124.21408098724551]
  グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である 本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。 提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
  論文  参考訳（メタデータ） (2022-10-14T03:43:05Z)
• Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural Networks [52.566735716983956]
  本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。 LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。 提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2022-07-18T14:23:31Z)
• Meta Propagation Networks for Graph Few-shot Semi-supervised Learning [39.96930762034581]
  本稿では,この問題を解決するために,メタ学習アルゴリズムを用いた新しいネットワークアーキテクチャを提案する。 基本的に,我々のMeta-PNフレームワークは,メタ学習ラベルの伝搬戦略を用いて,未ラベルノード上の高品質な擬似ラベルを推論する。 我々のアプローチは、様々なベンチマークデータセットの既存の技術と比較して、容易で実質的なパフォーマンス向上を提供する。
  論文  参考訳（メタデータ） (2021-12-18T00:11:56Z)
• Evaluating Deep Graph Neural Networks [27.902290204531326]
  グラフニューラルネットワーク(GNN)はすでに様々なグラフマイニングタスクに広く適用されている。 モデルの性能改善を妨げる重要な障害である、浅いアーキテクチャの問題に悩まされている。 本稿では,ディープグラフ多層パーセプトロン(DGMLP)について述べる。
  論文  参考訳（メタデータ） (2021-08-02T14:55:10Z)
• A Unified Lottery Ticket Hypothesis for Graph Neural Networks [82.31087406264437]
  本稿では,グラフ隣接行列とモデルの重み付けを同時に行う統一GNNスペーシフィケーション(UGS)フレームワークを提案する。 グラフ宝くじ(GLT)をコアサブデータセットとスパースサブネットワークのペアとして定義することにより、人気のある宝くじチケット仮説を初めてGNNsにさらに一般化します。
  論文  参考訳（メタデータ） (2021-02-12T21:52:43Z)
• Analyzing the Performance of Graph Neural Networks with Pipe Parallelism [2.269587850533721]
  ノードやエッジの分類やリンクの予測といったタスクで大きな成功を収めたグラフニューラルネットワーク(GNN)に注目した。 グラフ技術の進歩には,大規模ネットワーク処理のための新たなアプローチが必要である。 私たちは、ディープラーニングコミュニティで成功したと知られている既存のツールとフレームワークを使用して、GNNを並列化する方法を研究します。
  論文  参考訳（メタデータ） (2020-12-20T04:20:38Z)
• Learning to Drop: Robust Graph Neural Network via Topological Denoising [50.81722989898142]
  グラフニューラルネットワーク(GNN)のロバスト性および一般化性能を向上させるために,パラメータ化トポロジカルデノイングネットワークであるPTDNetを提案する。 PTDNetは、パラメータ化されたネットワークでスパーシファイドグラフ内のエッジ数をペナル化することで、タスク非関連エッジを創出する。 PTDNetはGNNの性能を著しく向上させ,さらにノイズの多いデータセットでは性能が向上することを示す。
  論文  参考訳（メタデータ） (2020-11-13T18:53:21Z)
• Node Masking: Making Graph Neural Networks Generalize and Scale Better [71.51292866945471]
  グラフニューラルネットワーク(GNN)は近年,多くの関心を集めている。 本稿では,芸術空間のGNNの状態によって実行される操作をよりよく可視化するために,いくつかの理論ツールを利用する。 私たちはNode Maskingというシンプルなコンセプトを導入しました。
  論文  参考訳（メタデータ） (2020-01-17T06:26:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。