論文の概要: Universal Deep GNNs: Rethinking Residual Connection in GNNs from a Path Decomposition Perspective for Preventing the Over-smoothing

• arxiv url: http://arxiv.org/abs/2205.15127v1
• Date: Mon, 30 May 2022 14:19:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-31 14:10:25.658344
• Title: Universal Deep GNNs: Rethinking Residual Connection in GNNs from a Path Decomposition Perspective for Preventing the Over-smoothing
• Title（参考訳）: ユニバーサルディープGNN:過剰スムーシング防止のための経路分解の観点からのGNNの残留接続再考
• Authors: Jie Chen, Weiqi Liu, Zhizhong Huang, Junbin Gao, Junping Zhang, Jian Pu
• Abstract要約: 近年の研究では、残りの結合を持つGNNが変性をわずかに遅らせていることが示されている。 本稿では,新しい経路分解の観点からの残差接続を有するGNNの前方・後方挙動について検討する。 コールドスタート適応残差接続(DRIVE)とフィードフォワードモジュールを備えたUniversal Deep GNNsフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 50.242926616772515
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The performance of GNNs degrades as they become deeper due to the over-smoothing. Among all the attempts to prevent over-smoothing, residual connection is one of the promising methods due to its simplicity. However, recent studies have shown that GNNs with residual connections only slightly slow down the degeneration. The reason why residual connections fail in GNNs is still unknown. In this paper, we investigate the forward and backward behavior of GNNs with residual connections from a novel path decomposition perspective. We find that the recursive aggregation of the median length paths from the binomial distribution of residual connection paths dominates output representation, resulting in over-smoothing as GNNs go deeper. Entangled propagation and weight matrices cause gradient smoothing and prevent GNNs with residual connections from optimizing to the identity mapping. Based on these findings, we present a Universal Deep GNNs (UDGNN) framework with cold-start adaptive residual connections (DRIVE) and feedforward modules. Extensive experiments demonstrate the effectiveness of our method, which achieves state-of-the-art results over non-smooth heterophily datasets by simply stacking standard GNNs.
• Abstract（参考訳）: GNNのパフォーマンスは、過度なスムーシングのため、より深くなるにつれて低下する。 過度なスムース化を防ぐ試みの中で、残余接続は単純さのために有望な方法の1つである。 しかし、近年の研究では、残存する結合を持つGNNが変性をわずかに遅らせていることが示されている。 残余接続がGNNで失敗した理由はまだ不明である。 本稿では,新しい経路分解の観点から,残差接続を持つgnnの前方および後方挙動について検討する。 残差接続経路の両項分布から中央長経路の再帰的集約が出力表現を支配し,GNNがより深くなるにつれて過度にスムース化されることがわかった。 絡み合った伝播と重み行列は勾配の滑らか化を引き起こし、残りの接続を持つGNNがアイデンティティマッピングに最適化されるのを防ぐ。 これらの知見に基づき,冷間開始適応残差接続(DRIVE)とフィードフォワードモジュールを備えたUDGNN(Universal Deep GNN)フレームワークを提案する。 従来のGNNを積み重ねることにより,非平滑なヘテロフィリーデータセットに対して最先端の結果が得られる手法の有効性を示す。

関連論文リスト

• Spiking Graph Neural Network on Riemannian Manifolds [51.15400848660023]
  グラフニューラルネットワーク(GNN)は、グラフの学習において支配的なソリューションとなっている。 既存のスパイク GNN はユークリッド空間のグラフを考慮し、構造幾何学を無視している。 マニフォールド値スパイキングGNN(MSG)を提案する。 MSGは従来のGNNよりも優れた性能とエネルギー効率を実現している。
  論文  参考訳（メタデータ） (2024-10-23T15:09:02Z)
• Bregman Graph Neural Network [27.64062763929748]
  ノード分類タスクでは、GNNによって誘導される滑らか化効果は、連結ノードの表現と過剰な均質化ラベルを同化する傾向がある。 本稿では,Bregman 距離の概念に触発された GNN のための新しい二段階最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-12T23:54:24Z)
• Graph Neural Networks are Inherently Good Generalizers: Insights by Bridging GNNs and MLPs [71.93227401463199]
  本稿では、P(ropagational)MLPと呼ばれる中間モデルクラスを導入することにより、GNNの性能向上を本質的な能力に向ける。 PMLPは、トレーニングにおいてはるかに効率的でありながら、GNNと同等(あるいはそれ以上)に動作することを観察する。
  論文  参考訳（メタデータ） (2022-12-18T08:17:32Z)
• Feature Overcorrelation in Deep Graph Neural Networks: A New Perspective [44.96635754139024]
  オーバースムーシングは、深いGNNの性能を制限する重要な問題の1つとして特定されている。 本稿では, 深部GNNの性能劣化, すなわち, 機能の過度な相関について考察する。 特徴相関を低減するために,GNNが冗長な情報をエンコードすることを促進できる汎用フレームワークであるDeCorrを提案する。
  論文  参考訳（メタデータ） (2022-06-15T18:13:52Z)
• Is Heterophily A Real Nightmare For Graph Neural Networks To Do Node Classification? [44.71818395535755]
  グラフニューラルネットワーク(GNN)は、帰納的バイアス(ホモフィリー仮定)に基づくグラフ構造を用いて基本ニューラルネットワーク(NN)を拡張する グラフに依存しないNNに対するGNNのパフォーマンス上の利点は、一般的には満足できないようである。 ヘテロフィリーが主な原因と見なされ、それに対応するために多くの研究が進められている。
  論文  参考訳（メタデータ） (2021-09-12T23:57:05Z)
• Optimization of Graph Neural Networks: Implicit Acceleration by Skip Connections and More Depth [57.10183643449905]
  グラフニューラルネットワーク(GNN)は表現力と一般化のレンズから研究されている。 GNNのダイナミクスを深部スキップ最適化により研究する。 本研究は,GNNの成功に対する最初の理論的支援を提供する。
  論文  参考訳（メタデータ） (2021-05-10T17:59:01Z)
• The Surprising Power of Graph Neural Networks with Random Node Initialization [54.4101931234922]
  グラフニューラルネットワーク(GNN)は、関係データ上での表現学習に有効なモデルである。 標準 GNN はその表現力に制限があり、Weisfeiler-Leman グラフ同型(英語版)の能力以外の区別はできない。 本研究では,ランダムノード(RNI)を用いたGNNの表現力の解析を行う。 我々はこれらのモデルが普遍的であることを証明し、GNNが高次特性の計算に頼らない最初の結果である。
  論文  参考訳（メタデータ） (2020-10-02T19:53:05Z)
• Optimization and Generalization Analysis of Transduction through Gradient Boosting and Application to Multi-scale Graph Neural Networks [60.22494363676747]
  現在のグラフニューラルネットワーク(GNN)は、オーバースムーシング(over-smoothing)と呼ばれる問題のため、自分自身を深くするのは難しいことが知られている。 マルチスケールGNNは、オーバースムーシング問題を緩和するための有望なアプローチである。 マルチスケールGNNを含むトランスダクティブ学習アルゴリズムの最適化と一般化を保証する。
  論文  参考訳（メタデータ） (2020-06-15T17:06:17Z)
• On the Bottleneck of Graph Neural Networks and its Practical Implications [22.704284264177108]
  グラフニューラルネットワーク(GNN)は,長い経路でメッセージを集約する場合,ボトルネックの影響を受けやすいことを示す。 このボトルネックは指数関数的に増加する情報を固定サイズのベクトルに過度に振る舞う。 GNNは、遠く離れたノードからのメッセージの伝搬に失敗し、予測タスクが長距離通信に依存する場合、性能が低下する。
  論文  参考訳（メタデータ） (2020-06-09T12:04:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。