論文の概要: GNNs,You can be Stronger,Deeper and Faster

• arxiv url: http://arxiv.org/abs/2305.05368v1
• Date: Tue, 9 May 2023 12:03:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-10 12:57:57.757966
• Title: GNNs,You can be Stronger,Deeper and Faster
• Title（参考訳）: gnn、あなたはより強く、より深く、より速く
• Authors: Jingbo Zhou, Yixuan Du, Ruqiong Zhang, Rui Zhang, Di Jin, Carl Yang
• Abstract要約: グラフニューラルネットワーク(GNN)は、グラフ構造化データから学習し、隣人を集約することでノードの表現を学ぶ。 グラフニューラルネットワーク(GNN)の性能は,層数の増加に伴って徐々に低下していくことが知られている。 そこで我々は,k-hopサブグラフアグリゲーションに基づいて,GNNの表現力を理解するための新たな視点を提案する。
• 参考スコア（独自算出の注目度）: 50.034313206471694
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph neural networks (GNNs), a type of neural network that can learn from graph-structured data and learn the representation of nodes by aggregating their neighbors, have shown excellent performance in downstream tasks.However, it is known that the performance of graph neural networks (GNNs) degrades gradually as the number of layers increases. Based on k-hop subgraph aggregation, which is a new concept, we propose a new perspective to understand the expressive power of GNN.From this perspective, we reveal the potential causes of the performance degradation of the deep traditional GNN - aggregated subgraph overlap, and the fact that the residual-based graph neural networks in fact exploit the aggregation results of 1 to k hop subgraphs to improve the effectiveness.Further, we propose a new sampling-based node-level residual module named SDF, which is shown by theoretical derivation to obtain a superior expressive power compared to previous residual methods by using information from 1 to k hop subgraphs more flexibly. Extensive experiments show that the performance and efficiency of GNN with the SDF module outperform other methods.
• Abstract（参考訳）: グラフ構造データから学習し,隣接ノードを集約することでノード表現を学習可能なグラフニューラルネットワーク(gnns)は,ダウンストリームタスクにおいて優れた性能を示すが,グラフニューラルネットワーク(gnns)の性能は層数の増加とともに徐々に低下することが知られている。 Based on k-hop subgraph aggregation, which is a new concept, we propose a new perspective to understand the expressive power of GNN.From this perspective, we reveal the potential causes of the performance degradation of the deep traditional GNN - aggregated subgraph overlap, and the fact that the residual-based graph neural networks in fact exploit the aggregation results of 1 to k hop subgraphs to improve the effectiveness.Further, we propose a new sampling-based node-level residual module named SDF, which is shown by theoretical derivation to obtain a superior expressive power compared to previous residual methods by using information from 1 to k hop subgraphs more flexibly. SDFモジュールによるGNNの性能と効率は,他の手法よりも優れていた。

関連論文リスト

• Deep Manifold Graph Auto-Encoder for Attributed Graph Embedding [51.75091298017941]
  本稿では,属性付きグラフデータに対する新しいDeep Manifold (Variational) Graph Auto-Encoder (DMVGAE/DMGAE)を提案する。 提案手法は,最先端のベースラインアルゴリズムを,一般的なデータセット間でのダウンストリームタスクの差を大きく越える。
  論文  参考訳（メタデータ） (2024-01-12T17:57:07Z)
• Degree-based stratification of nodes in Graph Neural Networks [66.17149106033126]
  グラフニューラルネットワーク(GNN)アーキテクチャを変更して,各グループのノードに対して,重み行列を個別に学習する。 このシンプルな実装変更により、データセットとGNNメソッドのパフォーマンスが改善されているようだ。
  論文  参考訳（メタデータ） (2023-12-16T14:09:23Z)
• AGNN: Alternating Graph-Regularized Neural Networks to Alleviate Over-Smoothing [29.618952407794776]
  グラフ畳み込み層(GCL)とグラフ埋め込み層(GEL)からなる交代グラフ正規化ニューラルネットワーク(AGNN)を提案する。 GELはラプラシアン埋め込み項を含むグラフ正規化最適化から導かれる。 AGNNは、いくつかの多層または多次グラフニューラルネットワークのパフォーマンス比較を含む、多数の実験を通じて評価されている。
  論文  参考訳（メタデータ） (2023-04-14T09:20:03Z)
• On Over-Squashing in Message Passing Neural Networks: The Impact of Width, Depth, and Topology [4.809459273366461]
  メッセージパッシングニューラルネットワーク(MPNN)は、グラフを利用してエッジにメッセージを送信するグラフニューラルネットワークのインスタンスである。 この帰納バイアスは、ノードの特徴が遠いノードに含まれる情報に敏感であるオーバー・スカッシング(over-squashing)と呼ばれる現象につながる。 この問題を軽減するために近年導入された手法にもかかわらず、過度な監視と解決策の可能性についての理解は欠如している。
  論文  参考訳（メタデータ） (2023-02-06T17:16:42Z)
• ResNorm: Tackling Long-tailed Degree Distribution Issue in Graph Neural Networks via Normalization [80.90206641975375]
  本稿では,正規化によるGNNの性能向上に焦点をあてる。 グラフ中のノード次数の長期分布を調べることにより、GNNの新しい正規化法を提案する。 ResNormの$scale$操作は、尾ノードの精度を向上させるために、ノード単位の標準偏差(NStd)分布を再設定する。
  論文  参考訳（メタデータ） (2022-06-16T13:49:09Z)
• Non-Gradient Manifold Neural Network [79.44066256794187]
  ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。 非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-06-15T06:39:13Z)
• Non-Recursive Graph Convolutional Networks [33.459371861932574]
  非再帰グラフ畳み込みネットワーク(NRGCN)と呼ばれる新しいアーキテクチャを提案し、GCNのトレーニング効率と学習パフォーマンスの両方を改善します。 NRGCNは、内部層凝集と層非依存サンプリングに基づいて、各ノードの隣人のホップを表す。 このようにして、各ノードは、隣人の各ホップから独立して抽出された情報を連結することで直接表現することができる。
  論文  参考訳（メタデータ） (2021-05-09T08:12:18Z)
• Overcoming Catastrophic Forgetting in Graph Neural Networks [50.900153089330175]
  破滅的な忘れは、ニューラルネットワークが新しいタスクを学ぶ前に学んだ知識を「忘れる」傾向を指します。 本稿では,この問題を克服し,グラフニューラルネットワーク(GNN)における継続学習を強化するための新しいスキームを提案する。 私たちのアプローチの中心には、トポロジ認識重量保存(TWP)と呼ばれる汎用モジュールがあります。
  論文  参考訳（メタデータ） (2020-12-10T22:30:25Z)
• NCGNN: Node-level Capsule Graph Neural Network [45.23653314235767]
  ノードレベルカプセルグラフニューラルネットワーク(ncgnn)は、ノードをカプセル群として表現する。 凝集に適したカプセルを適応的に選択する新しい動的ルーティング手法を開発した。 NCGNNは、過度にスムースな問題に対処でき、分類のためのより良いノード埋め込みを生成することで、芸術の状態を上回ります。
  論文  参考訳（メタデータ） (2020-12-07T06:46:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。