論文の概要: Decoupling the Depth and Scope of Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2201.07858v1
• Date: Wed, 19 Jan 2022 20:52:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-22 03:11:15.128262
• Title: Decoupling the Depth and Scope of Graph Neural Networks
• Title（参考訳）: グラフニューラルネットワークの深さとスコープの分離
• Authors: Hanqing Zeng, Muhan Zhang, Yinglong Xia, Ajitesh Srivastava, Andrey Malevich, Rajgopal Kannan, Viktor Prasanna, Long Jin, Ren Chen
• Abstract要約: 最先端のグラフニューラルネットワーク(GNN)は、グラフとモデルサイズに関して、スケーラビリティに制限がある。 本稿では,GNNの深度と範囲を分離する設計原理を提案する。 我々の設計は、計算量やハードウェアコストの大幅な削減により、大幅な精度向上を実現している。
• 参考スコア（独自算出の注目度）: 21.273445344654597
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: State-of-the-art Graph Neural Networks (GNNs) have limited scalability with respect to the graph and model sizes. On large graphs, increasing the model depth often means exponential expansion of the scope (i.e., receptive field). Beyond just a few layers, two fundamental challenges emerge: 1. degraded expressivity due to oversmoothing, and 2. expensive computation due to neighborhood explosion. We propose a design principle to decouple the depth and scope of GNNs -- to generate representation of a target entity (i.e., a node or an edge), we first extract a localized subgraph as the bounded-size scope, and then apply a GNN of arbitrary depth on top of the subgraph. A properly extracted subgraph consists of a small number of critical neighbors, while excluding irrelevant ones. The GNN, no matter how deep it is, smooths the local neighborhood into informative representation rather than oversmoothing the global graph into "white noise". Theoretically, decoupling improves the GNN expressive power from the perspectives of graph signal processing (GCN), function approximation (GraphSAGE) and topological learning (GIN). Empirically, on seven graphs (with up to 110M nodes) and six backbone GNN architectures, our design achieves significant accuracy improvement with orders of magnitude reduction in computation and hardware cost.
• Abstract（参考訳）: 最先端グラフニューラルネットワーク(gnn)は、グラフとモデルサイズに関してスケーラビリティに制限がある。 大きなグラフでは、モデル深度を増やすことはスコープ(つまり受容場)の指数的拡大を意味することが多い。 ほんのいくつかのレイヤを越えて、2つの根本的な課題が生まれます。 1.過密による表現力の低下、及び 2.近所の爆発による高価な計算 本稿では,GNNの深さと範囲を分離し,対象エンティティ(ノードやエッジなど)の表現を生成する設計原理を提案し,まず,境界サイズの範囲として局所化された部分グラフを抽出し,その部分グラフの上部に任意の深さのGNNを適用する。 適切に抽出された部分グラフは少数の臨界近傍で構成され、無関係な部分を除く。 GNNは、どんなに深くても、グローバルグラフを「ホワイトノイズ」に過度にスムースにするのではなく、地域住民を情報表現に滑らかにする。 理論的には、グラフ信号処理(GCN)、関数近似(GraphSAGE)、トポロジカル学習(GIN)の観点から、GNN表現力を改善する。 実証的に,7つのグラフ(最大110万ノード)と6つのバックボーンGNNアーキテクチャ上では,計算処理とハードウェアコストの桁数削減による大幅な精度向上を実現している。

関連論文リスト

• Spatio-Spectral Graph Neural Networks [50.277959544420455]
  比スペクトルグラフネットワーク(S$2$GNN)を提案する。 S$2$GNNは空間的およびスペクトル的にパラメータ化されたグラフフィルタを組み合わせる。 S$2$GNNsは、MPGNNsよりも厳密な近似理論誤差境界を生じる。
  論文  参考訳（メタデータ） (2024-05-29T14:28:08Z)
• Spectral Greedy Coresets for Graph Neural Networks [61.24300262316091]
  ノード分類タスクにおける大規模グラフの利用は、グラフニューラルネットワーク(GNN)の現実的な応用を妨げる 本稿では,GNNのグラフコアセットについて検討し,スペクトル埋め込みに基づくエゴグラフの選択により相互依存の問題を回避する。 我々のスペクトルグレディグラフコアセット(SGGC)は、数百万のノードを持つグラフにスケールし、モデル事前学習の必要性を排除し、低ホモフィリーグラフに適用する。
  論文  参考訳（メタデータ） (2024-05-27T17:52:12Z)
• Training Graph Neural Networks on Growing Stochastic Graphs [114.75710379125412]
  グラフニューラルネットワーク(GNN)は、ネットワーク化されたデータの意味のあるパターンを活用するために、グラフ畳み込みに依存している。 我々は,成長するグラフ列の極限オブジェクトであるグラフオンを利用して,非常に大きなグラフ上のGNNを学習することを提案する。
  論文  参考訳（メタデータ） (2022-10-27T16:00:45Z)
• Feature Correlation Aggregation: on the Path to Better Graph Neural Networks [37.79964911718766]
  グラフニューラルネットワーク(GNN)が導入される以前、不規則なデータ、特にグラフのモデリングと解析は、ディープラーニングのアキレスのヒールであると考えられていた。 本稿では,GNNのコア操作に対して,極めて単純かつ無作為な修正を施した中央ノード置換変分関数を提案する。 モデルの具体的な性能向上は、モデルがより少ないパラメータを使用しながら、有意なマージンで過去の最先端結果を上回った場合に観察される。
  論文  参考訳（メタデータ） (2021-09-20T05:04:26Z)
• A Unified Lottery Ticket Hypothesis for Graph Neural Networks [82.31087406264437]
  本稿では,グラフ隣接行列とモデルの重み付けを同時に行う統一GNNスペーシフィケーション(UGS)フレームワークを提案する。 グラフ宝くじ(GLT)をコアサブデータセットとスパースサブネットワークのペアとして定義することにより、人気のある宝くじチケット仮説を初めてGNNsにさらに一般化します。
  論文  参考訳（メタデータ） (2021-02-12T21:52:43Z)
• Deep Graph Neural Networks with Shallow Subgraph Samplers [22.526363992743278]
  本稿では,GNNの精度と効率を両立させるため,簡易な"深部GNN,浅部サンプル"設計法を提案する。 適切にサンプリングされた部分グラフは、無関係またはノイズの多いノードを除外し、依然として重要な隣り合う特徴やグラフ構造を保存できる。 最大の公開グラフデータセットであるogbn-papers100Mでは,ハードウェアコストを大幅に削減して最先端の精度を実現する。
  論文  参考訳（メタデータ） (2020-12-02T18:23:48Z)
• Distance Encoding: Design Provably More Powerful Neural Networks for Graph Representation Learning [63.97983530843762]
  グラフニューラルネットワーク(GNN)はグラフ表現学習において大きな成功を収めている。 GNNは、実際には非常に異なるグラフ部分構造に対して同一の表現を生成する。 より強力なGNNは、最近高階試験を模倣して提案され、基礎となるグラフ構造を疎結合にできないため、非効率である。 本稿では,グラフ表現学習の新たなクラスとして距離分解(DE)を提案する。
  論文  参考訳（メタデータ） (2020-08-31T23:15:40Z)
• Eigen-GNN: A Graph Structure Preserving Plug-in for GNNs [95.63153473559865]
  グラフニューラルネットワーク(GNN)は、グラフ上の新たな機械学習モデルである。 既存のGNNモデルの多くは浅く、本質的に機能中心である。 我々は,既存の浅いGNNがグラフ構造をよく保存できないことを経験的かつ解析的に示す。 本稿では,グラフ構造保存におけるGNNの能力を高めるプラグインモジュールであるEigen-GNNを提案する。
  論文  参考訳（メタデータ） (2020-06-08T02:47:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。