論文の概要: Evaluating Deep Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2108.00955v1
• Date: Mon, 2 Aug 2021 14:55:10 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-03 15:35:47.511967
• Title: Evaluating Deep Graph Neural Networks
• Title（参考訳）: ディープグラフニューラルネットワークの評価
• Authors: Wentao Zhang, Zeang Sheng, Yuezihan Jiang, Yikuan Xia, Jun Gao, Zhi Yang, Bin Cui
• Abstract要約: グラフニューラルネットワーク(GNN)はすでに様々なグラフマイニングタスクに広く適用されている。 モデルの性能改善を妨げる重要な障害である、浅いアーキテクチャの問題に悩まされている。 本稿では,ディープグラフ多層パーセプトロン(DGMLP)について述べる。
• 参考スコア（独自算出の注目度）: 27.902290204531326
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph Neural Networks (GNNs) have already been widely applied in various graph mining tasks. However, they suffer from the shallow architecture issue, which is the key impediment that hinders the model performance improvement. Although several relevant approaches have been proposed, none of the existing studies provides an in-depth understanding of the root causes of performance degradation in deep GNNs. In this paper, we conduct the first systematic experimental evaluation to present the fundamental limitations of shallow architectures. Based on the experimental results, we answer the following two essential questions: (1) what actually leads to the compromised performance of deep GNNs; (2) when we need and how to build deep GNNs. The answers to the above questions provide empirical insights and guidelines for researchers to design deep and well-performed GNNs. To show the effectiveness of our proposed guidelines, we present Deep Graph Multi-Layer Perceptron (DGMLP), a powerful approach (a paradigm in its own right) that helps guide deep GNN designs. Experimental results demonstrate three advantages of DGMLP: 1) high accuracy -- it achieves state-of-the-art node classification performance on various datasets; 2) high flexibility -- it can flexibly choose different propagation and transformation depths according to graph size and sparsity; 3) high scalability and efficiency -- it supports fast training on large-scale graphs. Our code is available in https://github.com/zwt233/DGMLP.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)はすでに様々なグラフマイニングタスクに広く適用されている。 しかし、モデルの性能改善を妨げる重要な障害である、浅いアーキテクチャの問題に悩まされている。 いくつかの関連するアプローチが提案されているが、既存の研究はいずれも、深いGNNの性能劣化の根本原因を深く理解するものではない。 本稿では,浅層建築の基本的限界を示すための,最初の体系的実験評価を行う。 実験結果に基づき,(1)深層gnnの性能が損なわれる原因は何か,(2)必要時,そしてどのように深層gnnを構築するか,という2つの重要な疑問に答える。 上記の質問に対する回答は、研究者が深くてよく表現されたgnnを設計するための経験的洞察とガイドラインを提供する。 提案するガイドラインの有効性を示すために,深層グラフ多層受容器(DGMLP)を提案する。 高い精度 - 様々なデータセットで最先端のノード分類性能を実現する - 高い柔軟性 - グラフのサイズとスパーシティに応じて、異なる伝播と変換深さを柔軟に選択できる - 高いスケーラビリティと効率 -- 大規模グラフの高速トレーニングをサポートする - という3つのdgmlpのメリットが実証された。 私たちのコードはhttps://github.com/zwt233/DGMLPで利用可能です。

関連論文リスト

• Spectral Greedy Coresets for Graph Neural Networks [61.24300262316091]
  ノード分類タスクにおける大規模グラフの利用は、グラフニューラルネットワーク(GNN)の現実的な応用を妨げる 本稿では,GNNのグラフコアセットについて検討し,スペクトル埋め込みに基づくエゴグラフの選択により相互依存の問題を回避する。 我々のスペクトルグレディグラフコアセット(SGGC)は、数百万のノードを持つグラフにスケールし、モデル事前学習の必要性を排除し、低ホモフィリーグラフに適用する。
  論文  参考訳（メタデータ） (2024-05-27T17:52:12Z)
• The Snowflake Hypothesis: Training Deep GNN with One Node One Receptive field [39.679151680622375]
  一つのノード、一つの受容場の概念を支える新しいパラダイムである「雪の結晶仮説」を紹介します。 最も単純な勾配とノードレベルの余弦距離を、各ノードの集約深さを調節する指針として採用する。 観測結果は,我々の仮説がタスクの普遍演算子として機能できることを実証した。
  論文  参考訳（メタデータ） (2023-08-19T15:21:12Z)
• A Comprehensive Study on Large-Scale Graph Training: Benchmarking and Rethinking [124.21408098724551]
  グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である 本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。 提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
  論文  参考訳（メタデータ） (2022-10-14T03:43:05Z)
• Gradient Gating for Deep Multi-Rate Learning on Graphs [62.25886489571097]
  グラフニューラルネットワーク(GNN)の性能向上のための新しいフレームワークであるグラディエントゲーティング(G$2$)を提案する。 我々のフレームワークは,GNN層の出力を,基盤となるグラフのノード間でのメッセージパッシング情報のマルチレートフローのメカニズムでゲーティングすることに基づいている。
  論文  参考訳（メタデータ） (2022-10-02T13:19:48Z)
• Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural Networks [52.566735716983956]
  本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。 LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。 提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2022-07-18T14:23:31Z)
• Bag of Tricks for Training Deeper Graph Neural Networks: A Comprehensive Benchmark Study [100.27567794045045]
  ディープグラフニューラルネットワーク(GNN)のトレーニングは、非常に難しい。 我々は、深層GNNの「トリック」を評価するための最初の公正かつ再現可能なベンチマークを示す。
  論文  参考訳（メタデータ） (2021-08-24T05:00:37Z)
• Large-scale graph representation learning with very deep GNNs and self-supervision [17.887767916020774]
  Open Graph Benchmark Large-Scale Challenge (OGB-LSC)を用いてグラフニューラルネットワーク(GNN)を大規模にデプロイする方法を示す。 我々のモデルはMAG240MとPCQM4Mのベンチマークでアワードレベル(トップ3)のパフォーマンスを達成した。
  論文  参考訳（メタデータ） (2021-07-20T11:35:25Z)
• Deep Graph Neural Networks with Shallow Subgraph Samplers [22.526363992743278]
  本稿では,GNNの精度と効率を両立させるため,簡易な"深部GNN,浅部サンプル"設計法を提案する。 適切にサンプリングされた部分グラフは、無関係またはノイズの多いノードを除外し、依然として重要な隣り合う特徴やグラフ構造を保存できる。 最大の公開グラフデータセットであるogbn-papers100Mでは,ハードウェアコストを大幅に削減して最先端の精度を実現する。
  論文  参考訳（メタデータ） (2020-12-02T18:23:48Z)
• Distance Encoding: Design Provably More Powerful Neural Networks for Graph Representation Learning [63.97983530843762]
  グラフニューラルネットワーク(GNN)はグラフ表現学習において大きな成功を収めている。 GNNは、実際には非常に異なるグラフ部分構造に対して同一の表現を生成する。 より強力なGNNは、最近高階試験を模倣して提案され、基礎となるグラフ構造を疎結合にできないため、非効率である。 本稿では,グラフ表現学習の新たなクラスとして距離分解(DE)を提案する。
  論文  参考訳（メタデータ） (2020-08-31T23:15:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。