論文の概要: Deep Graph Neural Networks via Posteriori-Sampling-based Node-Adaptive Residual Module

• arxiv url: http://arxiv.org/abs/2305.05368v3
• Date: Thu, 31 Oct 2024 12:04:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-01 16:58:53.712698
• Title: Deep Graph Neural Networks via Posteriori-Sampling-based Node-Adaptive Residual Module
• Title（参考訳）: Posteriori-Sampling-based Node-Adaptive Residual Moduleによるディープグラフニューラルネットワーク
• Authors: Jingbo Zhou, Yixuan Du, Ruqiong Zhang, Jun Xia, Zhizhi Yu, Zelin Zang, Di Jin, Carl Yang, Rui Zhang, Stan Z. Li,
• Abstract要約: グラフニューラルネットワーク(GNN)は、近隣情報収集を通じてグラフ構造化データから学習することができる。 レイヤーの数が増えるにつれて、ノード表現は区別不能になり、オーバー・スムーシング(over-smoothing)と呼ばれる。 我々は,textbfPosterior-Sampling-based, Node-distinguish Residual Module (PSNR)を提案する。
• 参考スコア（独自算出の注目度）: 65.81781176362848
• License:
• Abstract: Graph Neural Networks (GNNs), a type of neural network that can learn from graph-structured data through neighborhood information aggregation, have shown superior performance in various downstream tasks. However, as the number of layers increases, node representations become indistinguishable, which is known as over-smoothing. To address this issue, many residual methods have emerged. In this paper, we focus on the over-smoothing issue and related residual methods. Firstly, we revisit over-smoothing from the perspective of overlapping neighborhood subgraphs, and based on this, we explain how residual methods can alleviate over-smoothing by integrating multiple orders neighborhood subgraphs to avoid the indistinguishability of the single high-order neighborhood subgraphs. Additionally, we reveal the drawbacks of previous residual methods, such as the lack of node adaptability and severe loss of high-order neighborhood subgraph information, and propose a \textbf{Posterior-Sampling-based, Node-Adaptive Residual module (PSNR)}. We theoretically demonstrate that PSNR can alleviate the drawbacks of previous residual methods. Furthermore, extensive experiments verify the superiority of the PSNR module in fully observed node classification and missing feature scenarios. Our code is available at https://github.com/jingbo02/PSNR-GNN.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、近隣情報集約を通じてグラフ構造化データから学習できるニューラルネットワークの一種で、さまざまな下流タスクにおいて優れたパフォーマンスを示している。 しかし、レイヤーの数が増えるにつれてノード表現は区別不能になり、オーバー・スムーシング(over-smoothing)と呼ばれる。 この問題に対処するため、多くの残留手法が出現した。 本稿では,過度に平滑な問題と関連する残差法に焦点をあてる。 まず, 重なり合う近傍部分グラフの観点から, オーバー・スムーシングを再検討し, 残余法が複数順序近傍部分グラフを統合することによって過スムーシングを緩和し, 一つの高次近傍部分グラフの不明瞭さを回避する方法について述べる。 さらに,ノード適応性の欠如や高次近傍部分グラフ情報の深刻な損失など,従来の残余手法の欠点を明らかにするとともに,ノード適応Residual Module (PSNR) を提案する。 理論的には、PSNRは過去の残留手法の欠点を軽減することができる。 さらに、十分に観察されたノード分類と欠落した特徴シナリオにおいて、PSNRモジュールの優位性を検証する。 私たちのコードはhttps://github.com/jingbo02/PSNR-GNNで公開されています。

関連論文リスト

• Deep Manifold Graph Auto-Encoder for Attributed Graph Embedding [51.75091298017941]
  本稿では,属性付きグラフデータに対する新しいDeep Manifold (Variational) Graph Auto-Encoder (DMVGAE/DMGAE)を提案する。 提案手法は,最先端のベースラインアルゴリズムを,一般的なデータセット間でのダウンストリームタスクの差を大きく越える。
  論文  参考訳（メタデータ） (2024-01-12T17:57:07Z)
• Degree-based stratification of nodes in Graph Neural Networks [66.17149106033126]
  グラフニューラルネットワーク(GNN)アーキテクチャを変更して,各グループのノードに対して,重み行列を個別に学習する。 このシンプルな実装変更により、データセットとGNNメソッドのパフォーマンスが改善されているようだ。
  論文  参考訳（メタデータ） (2023-12-16T14:09:23Z)
• AGNN: Alternating Graph-Regularized Neural Networks to Alleviate Over-Smoothing [29.618952407794776]
  グラフ畳み込み層(GCL)とグラフ埋め込み層(GEL)からなる交代グラフ正規化ニューラルネットワーク(AGNN)を提案する。 GELはラプラシアン埋め込み項を含むグラフ正規化最適化から導かれる。 AGNNは、いくつかの多層または多次グラフニューラルネットワークのパフォーマンス比較を含む、多数の実験を通じて評価されている。
  論文  参考訳（メタデータ） (2023-04-14T09:20:03Z)
• On Over-Squashing in Message Passing Neural Networks: The Impact of Width, Depth, and Topology [4.809459273366461]
  メッセージパッシングニューラルネットワーク(MPNN)は、グラフを利用してエッジにメッセージを送信するグラフニューラルネットワークのインスタンスである。 この帰納バイアスは、ノードの特徴が遠いノードに含まれる情報に敏感であるオーバー・スカッシング(over-squashing)と呼ばれる現象につながる。 この問題を軽減するために近年導入された手法にもかかわらず、過度な監視と解決策の可能性についての理解は欠如している。
  論文  参考訳（メタデータ） (2023-02-06T17:16:42Z)
• ResNorm: Tackling Long-tailed Degree Distribution Issue in Graph Neural Networks via Normalization [80.90206641975375]
  本稿では,正規化によるGNNの性能向上に焦点をあてる。 グラフ中のノード次数の長期分布を調べることにより、GNNの新しい正規化法を提案する。 ResNormの$scale$操作は、尾ノードの精度を向上させるために、ノード単位の標準偏差(NStd)分布を再設定する。
  論文  参考訳（メタデータ） (2022-06-16T13:49:09Z)
• Non-Gradient Manifold Neural Network [79.44066256794187]
  ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。 非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-06-15T06:39:13Z)
• Non-Recursive Graph Convolutional Networks [33.459371861932574]
  非再帰グラフ畳み込みネットワーク(NRGCN)と呼ばれる新しいアーキテクチャを提案し、GCNのトレーニング効率と学習パフォーマンスの両方を改善します。 NRGCNは、内部層凝集と層非依存サンプリングに基づいて、各ノードの隣人のホップを表す。 このようにして、各ノードは、隣人の各ホップから独立して抽出された情報を連結することで直接表現することができる。
  論文  参考訳（メタデータ） (2021-05-09T08:12:18Z)
• Overcoming Catastrophic Forgetting in Graph Neural Networks [50.900153089330175]
  破滅的な忘れは、ニューラルネットワークが新しいタスクを学ぶ前に学んだ知識を「忘れる」傾向を指します。 本稿では,この問題を克服し,グラフニューラルネットワーク(GNN)における継続学習を強化するための新しいスキームを提案する。 私たちのアプローチの中心には、トポロジ認識重量保存(TWP)と呼ばれる汎用モジュールがあります。
  論文  参考訳（メタデータ） (2020-12-10T22:30:25Z)
• NCGNN: Node-level Capsule Graph Neural Network [45.23653314235767]
  ノードレベルカプセルグラフニューラルネットワーク(ncgnn)は、ノードをカプセル群として表現する。 凝集に適したカプセルを適応的に選択する新しい動的ルーティング手法を開発した。 NCGNNは、過度にスムースな問題に対処でき、分類のためのより良いノード埋め込みを生成することで、芸術の状態を上回ります。
  論文  参考訳（メタデータ） (2020-12-07T06:46:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。