論文の概要: Deep Graph Neural Networks with Shallow Subgraph Samplers
- arxiv url: http://arxiv.org/abs/2012.01380v2
- Date: Tue, 23 Feb 2021 09:13:54 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-30 04:52:56.859986
- Title: Deep Graph Neural Networks with Shallow Subgraph Samplers
- Title(参考訳): 浅層サブグラフサンプラーを用いたディープグラフニューラルネットワーク
- Authors: Hanqing Zeng, Muhan Zhang, Yinglong Xia, Ajitesh Srivastava, Andrey
Malevich, Rajgopal Kannan, Viktor Prasanna, Long Jin, Ren Chen
- Abstract要約: 本稿では,GNNの精度と効率を両立させるため,簡易な"深部GNN,浅部サンプル"設計法を提案する。
適切にサンプリングされた部分グラフは、無関係またはノイズの多いノードを除外し、依然として重要な隣り合う特徴やグラフ構造を保存できる。
最大の公開グラフデータセットであるogbn-papers100Mでは,ハードウェアコストを大幅に削減して最先端の精度を実現する。
- 参考スコア(独自算出の注目度): 22.526363992743278
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While Graph Neural Networks (GNNs) are powerful models for learning
representations on graphs, most state-of-the-art models do not have significant
accuracy gain beyond two to three layers. Deep GNNs fundamentally need to
address: 1). expressivity challenge due to oversmoothing, and 2). computation
challenge due to neighborhood explosion. We propose a simple "deep GNN, shallow
sampler" design principle to improve both the GNN accuracy and efficiency -- to
generate representation of a target node, we use a deep GNN to pass messages
only within a shallow, localized subgraph. A properly sampled subgraph may
exclude irrelevant or even noisy nodes, and still preserve the critical
neighbor features and graph structures. The deep GNN then smooths the
informative local signals to enhance feature learning, rather than
oversmoothing the global graph signals into just "white noise". We
theoretically justify why the combination of deep GNNs with shallow samplers
yields the best learning performance. We then propose various sampling
algorithms and neural architecture extensions to achieve good empirical
results. On the largest public graph dataset, ogbn-papers100M, we achieve
state-of-the-art accuracy with an order of magnitude reduction in hardware
cost.
- Abstract(参考訳): グラフニューラルネットワーク(GNN)はグラフ上で表現を学習する強力なモデルだが、最先端のモデルでは2~3層以上の精度が向上していない。
ディープGNNは基本的に対処する必要がある。
過剰な動作による表現力の挑戦,および 2)
近所の爆発による 計算課題。
我々は,GNNの精度と効率を両立させるため,GNNの深部表現を用いて,浅部部分グラフのみにメッセージを送るという,シンプルな「深部GNN,浅部サンプル」設計原理を提案する。
適切にサンプリングされた部分グラフは、無関係またはノイズの多いノードを除外し、重要な隣り合う特徴やグラフ構造を保持する。
ディープGNNは、グローバルグラフ信号を単に「ホワイトノイズ」に過度にスムースにするのではなく、情報的局所信号を滑らかにして特徴学習を強化する。
深層gnnと浅層サンプラーの組み合わせが最良の学習性能をもたらす理由を理論的に正当化する。
次に, 様々なサンプリングアルゴリズムとニューラルアーキテクチャ拡張を提案し, 良好な実験結果を得た。
最大の公開グラフデータセットであるogbn-papers100Mでは、ハードウェアコストを大幅に削減して最先端の精度を実現する。
関連論文リスト
- Graph Transformers for Large Graphs [57.19338459218758]
この研究は、モデルの特徴と重要な設計制約を識別することに焦点を当てた、単一の大規模グラフでの表現学習を前進させる。
この研究の重要な革新は、局所的な注意機構と組み合わされた高速な近傍サンプリング技術の作成である。
ogbn-products と snap-patents の3倍の高速化と16.8%の性能向上を報告し、ogbn-100M で LargeGT を5.9% の性能改善で拡張した。
論文 参考訳(メタデータ) (2023-12-18T11:19:23Z) - MAG-GNN: Reinforcement Learning Boosted Graph Neural Network [68.60884768323739]
特定の研究の行は、GNNの表現性を向上させるためにサブグラフ情報を使用するサブグラフGNNを提案し、大きな成功を収めた。
このような効果は、すべての可能な部分グラフを列挙することによって、GNNの効率を犠牲にする。
本稿では,強化学習(RL)により強化されたGNNである磁気グラフニューラルネットワーク(MAG-GNN)を提案する。
論文 参考訳(メタデータ) (2023-10-29T20:32:21Z) - From Local to Global: Spectral-Inspired Graph Neural Networks [28.858773653743075]
グラフニューラルネットワーク(GNN)は、非ユークリッドデータのための強力なディープラーニング手法である。
MPNNは、局所グラフ地区の信号を集約して結合するメッセージパッシングアルゴリズムである。
MPNNは、過密や過密といった問題に悩まされる可能性がある。
論文 参考訳(メタデータ) (2022-09-24T17:19:00Z) - Decoupling the Depth and Scope of Graph Neural Networks [21.273445344654597]
最先端のグラフニューラルネットワーク(GNN)は、グラフとモデルサイズに関して、スケーラビリティに制限がある。
本稿では,GNNの深度と範囲を分離する設計原理を提案する。
我々の設計は、計算量やハードウェアコストの大幅な削減により、大幅な精度向上を実現している。
論文 参考訳(メタデータ) (2022-01-19T20:52:42Z) - Adaptive Kernel Graph Neural Network [21.863238974404474]
グラフニューラルネットワーク(GNN)は,グラフ構造化データの表現学習において大きな成功を収めている。
本稿では,AKGNN(Adaptive Kernel Graph Neural Network)という新しいフレームワークを提案する。
AKGNNは、最初の試みで最適なグラフカーネルに統一的に適応することを学ぶ。
評価されたベンチマークデータセットで実験を行い、提案したAKGNNの優れた性能を示す有望な結果を得た。
論文 参考訳(メタデータ) (2021-12-08T20:23:58Z) - Evaluating Deep Graph Neural Networks [27.902290204531326]
グラフニューラルネットワーク(GNN)はすでに様々なグラフマイニングタスクに広く適用されている。
モデルの性能改善を妨げる重要な障害である、浅いアーキテクチャの問題に悩まされている。
本稿では,ディープグラフ多層パーセプトロン(DGMLP)について述べる。
論文 参考訳(メタデータ) (2021-08-02T14:55:10Z) - A Unified Lottery Ticket Hypothesis for Graph Neural Networks [82.31087406264437]
本稿では,グラフ隣接行列とモデルの重み付けを同時に行う統一GNNスペーシフィケーション(UGS)フレームワークを提案する。
グラフ宝くじ(GLT)をコアサブデータセットとスパースサブネットワークのペアとして定義することにより、人気のある宝くじチケット仮説を初めてGNNsにさらに一般化します。
論文 参考訳(メタデータ) (2021-02-12T21:52:43Z) - Learning to Drop: Robust Graph Neural Network via Topological Denoising [50.81722989898142]
グラフニューラルネットワーク(GNN)のロバスト性および一般化性能を向上させるために,パラメータ化トポロジカルデノイングネットワークであるPTDNetを提案する。
PTDNetは、パラメータ化されたネットワークでスパーシファイドグラフ内のエッジ数をペナル化することで、タスク非関連エッジを創出する。
PTDNetはGNNの性能を著しく向上させ,さらにノイズの多いデータセットでは性能が向上することを示す。
論文 参考訳(メタデータ) (2020-11-13T18:53:21Z) - Distance Encoding: Design Provably More Powerful Neural Networks for
Graph Representation Learning [63.97983530843762]
グラフニューラルネットワーク(GNN)はグラフ表現学習において大きな成功を収めている。
GNNは、実際には非常に異なるグラフ部分構造に対して同一の表現を生成する。
より強力なGNNは、最近高階試験を模倣して提案され、基礎となるグラフ構造を疎結合にできないため、非効率である。
本稿では,グラフ表現学習の新たなクラスとして距離分解(DE)を提案する。
論文 参考訳(メタデータ) (2020-08-31T23:15:40Z) - Eigen-GNN: A Graph Structure Preserving Plug-in for GNNs [95.63153473559865]
グラフニューラルネットワーク(GNN)は、グラフ上の新たな機械学習モデルである。
既存のGNNモデルの多くは浅く、本質的に機能中心である。
我々は,既存の浅いGNNがグラフ構造をよく保存できないことを経験的かつ解析的に示す。
本稿では,グラフ構造保存におけるGNNの能力を高めるプラグインモジュールであるEigen-GNNを提案する。
論文 参考訳(メタデータ) (2020-06-08T02:47:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。