論文の概要: Deep Graph Neural Networks via Flexible Subgraph Aggregation

• arxiv url: http://arxiv.org/abs/2305.05368v2
• Date: Tue, 30 May 2023 10:17:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-01 00:40:43.239565
• Title: Deep Graph Neural Networks via Flexible Subgraph Aggregation
• Title（参考訳）: フレキシブルサブグラフアグリゲーションによるディープグラフニューラルネットワーク
• Authors: Jingbo Zhou, Yixuan Du, Ruqiong Zhang, Di Jin, Carl Yang, Rui Zhang
• Abstract要約: グラフニューラルネットワーク(GNN)は、グラフ構造化データから学習し、近隣情報を集約することでノードの表現を学ぶ。 本稿では,サブグラフアグリゲーションの観点から,GNNの表現力を評価する。 サブグラフアグリゲーションの異なるホップをより柔軟に活用できるサンプリングベースノードレベル残余モジュール(SNR)を提案する。
• 参考スコア（独自算出の注目度）: 50.034313206471694
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph neural networks (GNNs), a type of neural network that can learn from graph-structured data and learn the representation of nodes through aggregating neighborhood information, have shown superior performance in various downstream tasks. However, it is known that the performance of GNNs degrades gradually as the number of layers increases. In this paper, we evaluate the expressive power of GNNs from the perspective of subgraph aggregation. We reveal the potential cause of performance degradation for traditional deep GNNs, i.e., aggregated subgraph overlap, and we theoretically illustrate the fact that previous residual-based GNNs exploit the aggregation results of 1 to $k$ hop subgraphs to improve the effectiveness. Further, we find that the utilization of different subgraphs by previous models is often inflexible. Based on this, we propose a sampling-based node-level residual module (SNR) that can achieve a more flexible utilization of different hops of subgraph aggregation by introducing node-level parameters sampled from a learnable distribution. Extensive experiments show that the performance of GNNs with our proposed SNR module outperform a comprehensive set of baselines.
• Abstract（参考訳）: グラフ構造データから学習し,近傍情報を集約することでノード表現を学習できるニューラルネットワークの一種であるグラフニューラルネットワーク(gnns)は,様々な下流タスクにおいて優れた性能を示している。 しかし,GNNの性能は層数の増加に伴って徐々に低下していくことが知られている。 本稿では,gnnの表現力について,部分グラフ集約の観点から評価する。 我々は,従来のディープGNNの性能劣化,すなわちアグリゲートされたサブグラフのオーバーラップの原因を明らかにするとともに,従来の残差ベースGNNが1～$k$ホップサブグラフのアグリゲーション結果を利用して効率を向上するという事実を理論的に説明する。 さらに、以前のモデルによる異なる部分グラフの利用は、しばしば非フレキシブルである。 そこで本研究では,学習可能な分布からサンプリングされたノードレベルパラメータを導入することで,サブグラフアグリゲーションの異なるホップをより柔軟に活用できるサンプリングベースノードレベル残差モジュール(snr)を提案する。 大規模な実験により,提案したSNRモジュールによるGNNの性能は,総合的なベースラインよりも優れていた。

関連論文リスト

• Deep Manifold Graph Auto-Encoder for Attributed Graph Embedding [51.75091298017941]
  本稿では,属性付きグラフデータに対する新しいDeep Manifold (Variational) Graph Auto-Encoder (DMVGAE/DMGAE)を提案する。 提案手法は,最先端のベースラインアルゴリズムを,一般的なデータセット間でのダウンストリームタスクの差を大きく越える。
  論文  参考訳（メタデータ） (2024-01-12T17:57:07Z)
• Degree-based stratification of nodes in Graph Neural Networks [66.17149106033126]
  グラフニューラルネットワーク(GNN)アーキテクチャを変更して,各グループのノードに対して,重み行列を個別に学習する。 このシンプルな実装変更により、データセットとGNNメソッドのパフォーマンスが改善されているようだ。
  論文  参考訳（メタデータ） (2023-12-16T14:09:23Z)
• AGNN: Alternating Graph-Regularized Neural Networks to Alleviate Over-Smoothing [29.618952407794776]
  グラフ畳み込み層(GCL)とグラフ埋め込み層(GEL)からなる交代グラフ正規化ニューラルネットワーク(AGNN)を提案する。 GELはラプラシアン埋め込み項を含むグラフ正規化最適化から導かれる。 AGNNは、いくつかの多層または多次グラフニューラルネットワークのパフォーマンス比較を含む、多数の実験を通じて評価されている。
  論文  参考訳（メタデータ） (2023-04-14T09:20:03Z)
• On Over-Squashing in Message Passing Neural Networks: The Impact of Width, Depth, and Topology [4.809459273366461]
  メッセージパッシングニューラルネットワーク(MPNN)は、グラフを利用してエッジにメッセージを送信するグラフニューラルネットワークのインスタンスである。 この帰納バイアスは、ノードの特徴が遠いノードに含まれる情報に敏感であるオーバー・スカッシング(over-squashing)と呼ばれる現象につながる。 この問題を軽減するために近年導入された手法にもかかわらず、過度な監視と解決策の可能性についての理解は欠如している。
  論文  参考訳（メタデータ） (2023-02-06T17:16:42Z)
• ResNorm: Tackling Long-tailed Degree Distribution Issue in Graph Neural Networks via Normalization [80.90206641975375]
  本稿では,正規化によるGNNの性能向上に焦点をあてる。 グラフ中のノード次数の長期分布を調べることにより、GNNの新しい正規化法を提案する。 ResNormの$scale$操作は、尾ノードの精度を向上させるために、ノード単位の標準偏差(NStd)分布を再設定する。
  論文  参考訳（メタデータ） (2022-06-16T13:49:09Z)
• Non-Gradient Manifold Neural Network [79.44066256794187]
  ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。 非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-06-15T06:39:13Z)
• Non-Recursive Graph Convolutional Networks [33.459371861932574]
  非再帰グラフ畳み込みネットワーク(NRGCN)と呼ばれる新しいアーキテクチャを提案し、GCNのトレーニング効率と学習パフォーマンスの両方を改善します。 NRGCNは、内部層凝集と層非依存サンプリングに基づいて、各ノードの隣人のホップを表す。 このようにして、各ノードは、隣人の各ホップから独立して抽出された情報を連結することで直接表現することができる。
  論文  参考訳（メタデータ） (2021-05-09T08:12:18Z)
• Overcoming Catastrophic Forgetting in Graph Neural Networks [50.900153089330175]
  破滅的な忘れは、ニューラルネットワークが新しいタスクを学ぶ前に学んだ知識を「忘れる」傾向を指します。 本稿では,この問題を克服し,グラフニューラルネットワーク(GNN)における継続学習を強化するための新しいスキームを提案する。 私たちのアプローチの中心には、トポロジ認識重量保存(TWP)と呼ばれる汎用モジュールがあります。
  論文  参考訳（メタデータ） (2020-12-10T22:30:25Z)
• NCGNN: Node-level Capsule Graph Neural Network [45.23653314235767]
  ノードレベルカプセルグラフニューラルネットワーク(ncgnn)は、ノードをカプセル群として表現する。 凝集に適したカプセルを適応的に選択する新しい動的ルーティング手法を開発した。 NCGNNは、過度にスムースな問題に対処でき、分類のためのより良いノード埋め込みを生成することで、芸術の状態を上回ります。
  論文  参考訳（メタデータ） (2020-12-07T06:46:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。