論文の概要: Deep Graph Neural Networks with Shallow Subgraph Samplers

• arxiv url: http://arxiv.org/abs/2012.01380v2
• Date: Tue, 23 Feb 2021 09:13:54 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-30 04:52:56.859986
• Title: Deep Graph Neural Networks with Shallow Subgraph Samplers
• Title（参考訳）: 浅層サブグラフサンプラーを用いたディープグラフニューラルネットワーク
• Authors: Hanqing Zeng, Muhan Zhang, Yinglong Xia, Ajitesh Srivastava, Andrey Malevich, Rajgopal Kannan, Viktor Prasanna, Long Jin, Ren Chen
• Abstract要約: 本稿では,GNNの精度と効率を両立させるため,簡易な"深部GNN,浅部サンプル"設計法を提案する。 適切にサンプリングされた部分グラフは、無関係またはノイズの多いノードを除外し、依然として重要な隣り合う特徴やグラフ構造を保存できる。 最大の公開グラフデータセットであるogbn-papers100Mでは,ハードウェアコストを大幅に削減して最先端の精度を実現する。
• 参考スコア（独自算出の注目度）: 22.526363992743278
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While Graph Neural Networks (GNNs) are powerful models for learning representations on graphs, most state-of-the-art models do not have significant accuracy gain beyond two to three layers. Deep GNNs fundamentally need to address: 1). expressivity challenge due to oversmoothing, and 2). computation challenge due to neighborhood explosion. We propose a simple "deep GNN, shallow sampler" design principle to improve both the GNN accuracy and efficiency -- to generate representation of a target node, we use a deep GNN to pass messages only within a shallow, localized subgraph. A properly sampled subgraph may exclude irrelevant or even noisy nodes, and still preserve the critical neighbor features and graph structures. The deep GNN then smooths the informative local signals to enhance feature learning, rather than oversmoothing the global graph signals into just "white noise". We theoretically justify why the combination of deep GNNs with shallow samplers yields the best learning performance. We then propose various sampling algorithms and neural architecture extensions to achieve good empirical results. On the largest public graph dataset, ogbn-papers100M, we achieve state-of-the-art accuracy with an order of magnitude reduction in hardware cost.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)はグラフ上で表現を学習する強力なモデルだが、最先端のモデルでは2～3層以上の精度が向上していない。 ディープGNNは基本的に対処する必要がある。 過剰な動作による表現力の挑戦,および 2) 近所の爆発による 計算課題。 我々は,GNNの精度と効率を両立させるため,GNNの深部表現を用いて,浅部部分グラフのみにメッセージを送るという,シンプルな「深部GNN,浅部サンプル」設計原理を提案する。 適切にサンプリングされた部分グラフは、無関係またはノイズの多いノードを除外し、重要な隣り合う特徴やグラフ構造を保持する。 ディープGNNは、グローバルグラフ信号を単に「ホワイトノイズ」に過度にスムースにするのではなく、情報的局所信号を滑らかにして特徴学習を強化する。 深層gnnと浅層サンプラーの組み合わせが最良の学習性能をもたらす理由を理論的に正当化する。 次に, 様々なサンプリングアルゴリズムとニューラルアーキテクチャ拡張を提案し, 良好な実験結果を得た。 最大の公開グラフデータセットであるogbn-papers100Mでは、ハードウェアコストを大幅に削減して最先端の精度を実現する。

関連論文リスト

• Spatio-Spectral Graph Neural Networks [50.277959544420455]
  比スペクトルグラフネットワーク(S$2$GNN)を提案する。 S$2$GNNは空間的およびスペクトル的にパラメータ化されたグラフフィルタを組み合わせる。 S$2$GNNsは、MPGNNsよりも厳密な近似理論誤差境界を生じる。
  論文  参考訳（メタデータ） (2024-05-29T14:28:08Z)
• Spectral Greedy Coresets for Graph Neural Networks [61.24300262316091]
  ノード分類タスクにおける大規模グラフの利用は、グラフニューラルネットワーク(GNN)の現実的な応用を妨げる 本稿では,GNNのグラフコアセットについて検討し,スペクトル埋め込みに基づくエゴグラフの選択により相互依存の問題を回避する。 我々のスペクトルグレディグラフコアセット(SGGC)は、数百万のノードを持つグラフにスケールし、モデル事前学習の必要性を排除し、低ホモフィリーグラフに適用する。
  論文  参考訳（メタデータ） (2024-05-27T17:52:12Z)
• Unleash Graph Neural Networks from Heavy Tuning [33.948899558876604]
  グラフニューラルネットワーク(GNN)は、グラフ型データ用に設計されたディープラーニングアーキテクチャである。 本稿では,光チューニングされた粗い探索中に保存されたチェックポイントから学習することで,高性能なGNNを直接生成するグラフ条件付き潜時拡散フレームワーク(GNN-Diff)を提案する。
  論文  参考訳（メタデータ） (2024-05-21T06:23:47Z)
• MAG-GNN: Reinforcement Learning Boosted Graph Neural Network [68.60884768323739]
  特定の研究の行は、GNNの表現性を向上させるためにサブグラフ情報を使用するサブグラフGNNを提案し、大きな成功を収めた。 このような効果は、すべての可能な部分グラフを列挙することによって、GNNの効率を犠牲にする。 本稿では,強化学習(RL)により強化されたGNNである磁気グラフニューラルネットワーク(MAG-GNN)を提案する。
  論文  参考訳（メタデータ） (2023-10-29T20:32:21Z)
• Decoupling the Depth and Scope of Graph Neural Networks [21.273445344654597]
  最先端のグラフニューラルネットワーク(GNN)は、グラフとモデルサイズに関して、スケーラビリティに制限がある。 本稿では,GNNの深度と範囲を分離する設計原理を提案する。 我々の設計は、計算量やハードウェアコストの大幅な削減により、大幅な精度向上を実現している。
  論文  参考訳（メタデータ） (2022-01-19T20:52:42Z)
• Evaluating Deep Graph Neural Networks [27.902290204531326]
  グラフニューラルネットワーク(GNN)はすでに様々なグラフマイニングタスクに広く適用されている。 モデルの性能改善を妨げる重要な障害である、浅いアーキテクチャの問題に悩まされている。 本稿では,ディープグラフ多層パーセプトロン(DGMLP)について述べる。
  論文  参考訳（メタデータ） (2021-08-02T14:55:10Z)
• A Unified Lottery Ticket Hypothesis for Graph Neural Networks [82.31087406264437]
  本稿では,グラフ隣接行列とモデルの重み付けを同時に行う統一GNNスペーシフィケーション(UGS)フレームワークを提案する。 グラフ宝くじ(GLT)をコアサブデータセットとスパースサブネットワークのペアとして定義することにより、人気のある宝くじチケット仮説を初めてGNNsにさらに一般化します。
  論文  参考訳（メタデータ） (2021-02-12T21:52:43Z)
• Learning to Drop: Robust Graph Neural Network via Topological Denoising [50.81722989898142]
  グラフニューラルネットワーク(GNN)のロバスト性および一般化性能を向上させるために,パラメータ化トポロジカルデノイングネットワークであるPTDNetを提案する。 PTDNetは、パラメータ化されたネットワークでスパーシファイドグラフ内のエッジ数をペナル化することで、タスク非関連エッジを創出する。 PTDNetはGNNの性能を著しく向上させ,さらにノイズの多いデータセットでは性能が向上することを示す。
  論文  参考訳（メタデータ） (2020-11-13T18:53:21Z)
• Distance Encoding: Design Provably More Powerful Neural Networks for Graph Representation Learning [63.97983530843762]
  グラフニューラルネットワーク(GNN)はグラフ表現学習において大きな成功を収めている。 GNNは、実際には非常に異なるグラフ部分構造に対して同一の表現を生成する。 より強力なGNNは、最近高階試験を模倣して提案され、基礎となるグラフ構造を疎結合にできないため、非効率である。 本稿では,グラフ表現学習の新たなクラスとして距離分解(DE)を提案する。
  論文  参考訳（メタデータ） (2020-08-31T23:15:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。