論文の概要: SkipNode: On Alleviating Performance Degradation for Deep Graph Convolutional Networks

• arxiv url: http://arxiv.org/abs/2112.11628v4
• Date: Tue, 23 Jan 2024 03:03:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-24 20:31:14.531042
• Title: SkipNode: On Alleviating Performance Degradation for Deep Graph Convolutional Networks
• Title（参考訳）: SkipNode: ディープグラフ畳み込みネットワークのパフォーマンス劣化を軽減する
• Authors: Weigang Lu, Yibing Zhan, Binbin Lin, Ziyu Guan, Liu Liu, Baosheng Yu, Wei Zhao, Yaming Yang, and Dacheng Tao
• Abstract要約: 我々は,深いGCNにおける性能劣化の根本的な原因を探るため,理論的および実験的解析を行う。 我々は,深いGCNの性能劣化を克服するために,シンプルで効果的なプラグイン・アンド・プレイモジュールであるSkipnodeを提案する。
• 参考スコア（独自算出の注目度）: 84.30721808557871
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph Convolutional Networks (GCNs) suffer from performance degradation when models go deeper. However, earlier works only attributed the performance degeneration to over-smoothing. In this paper, we conduct theoretical and experimental analysis to explore the fundamental causes of performance degradation in deep GCNs: over-smoothing and gradient vanishing have a mutually reinforcing effect that causes the performance to deteriorate more quickly in deep GCNs. On the other hand, existing anti-over-smoothing methods all perform full convolutions up to the model depth. They could not well resist the exponential convergence of over-smoothing due to model depth increasing. In this work, we propose a simple yet effective plug-and-play module, Skipnode, to overcome the performance degradation of deep GCNs. It samples graph nodes in each convolutional layer to skip the convolution operation. In this way, both over-smoothing and gradient vanishing can be effectively suppressed since (1) not all nodes'features propagate through full layers and, (2) the gradient can be directly passed back through ``skipped'' nodes. We provide both theoretical analysis and empirical evaluation to demonstrate the efficacy of Skipnode and its superiority over SOTA baselines.
• Abstract（参考訳）: グラフ畳み込みネットワーク(GCN)は、モデルが深くなるとパフォーマンスが低下する。 しかし、初期の作品ではパフォーマンスの劣化は過度なスムーシングによるものだった。 本稿では,深いGCNにおける性能劣化の根本的な原因を理論的および実験的に検討する:過度な平滑化と勾配消滅は,深いGCNにおいて性能がより早く劣化する原因となる相互強化効果を有する。 一方、既存のアンチ・オーバー・スムーシング手法はすべてモデル深さまで完全な畳み込みを行う。 モデル深度の増加による過平滑化の指数収束に抵抗することはできなかった。 本研究では,深いGCNの性能劣化を克服する,シンプルで効果的なプラグイン・アンド・プレイモジュールであるSkipnodeを提案する。 各畳み込み層のグラフノードをサンプリングして畳み込み操作をスキップする。 この方法では、(1)全てのノードが全層を伝播するわけではないこと、(2)勾配を直接‘skipped’ノードに渡すことができるため、オーバースムーシングと勾配の消滅を効果的に抑制することができる。 我々は,Skipnodeの有効性とSOTAベースラインよりも優れていることを示すため,理論的解析と実証評価の両方を提供する。

関連論文リスト

• Taming Gradient Oversmoothing and Expansion in Graph Neural Networks [3.0764244780817283]
  オーバースムーシングはグラフニューラルネットワーク(GNN)の主要なボトルネックとして主張されている。 トレーニング中に最適化を防ぐための$textitgradient oversmoothingの存在を示します。 勾配拡大を防止するため, 単純かつ効果的な正規化法を提案する。
  論文  参考訳（メタデータ） (2024-10-07T08:22:20Z)
• Node Duplication Improves Cold-start Link Prediction [52.917775253887264]
  グラフニューラルネットワーク(GNN)は、グラフ機械学習において顕著である。 近年の研究では、GNNは低次ノードで良い結果を出すのに苦労していることが示されている。 我々はNodeDupと呼ばれるシンプルだが驚くほど効果的な拡張手法を提案する。
  論文  参考訳（メタデータ） (2024-02-15T05:07:39Z)
• A Non-Asymptotic Analysis of Oversmoothing in Graph Neural Networks [33.35609077417775]
  非漸近解析により,この現象の背後にあるメカニズムを特徴づける。 混合効果がデノナイジング効果を支配し始めると,過スムージングが生じることを示す。 以上の結果から,PPRは深い層での過度なスムース化を緩和するが,PPRベースのアーキテクチャは依然として浅い深さで最高の性能を発揮することが示唆された。
  論文  参考訳（メタデータ） (2022-12-21T00:33:59Z)
• Deep Manifold Learning with Graph Mining [80.84145791017968]
  グラフマイニングのための非段階的決定層を持つ新しいグラフ深層モデルを提案する。 提案モデルでは,現行モデルと比較して最先端性能を実現している。
  論文  参考訳（メタデータ） (2022-07-18T04:34:08Z)
• Revisiting Graph Convolutional Network on Semi-Supervised Node Classification from an Optimization Perspective [10.178145000390671]
  グラフ畳み込みネットワーク(GCN)は、様々なグラフベースのタスクにおいて有望な性能を達成した。 しかし、より多くのレイヤを積み重ねる際には、過剰なスムーシングに悩まされる。 本稿では,この観測を定量的に研究し,より深いGCNに対する新たな洞察を開拓する。
  論文  参考訳（メタデータ） (2020-09-24T03:36:43Z)
• Tackling Over-Smoothing for General Graph Convolutional Networks [88.71154017107257]
  一般的なGCNは、GCN, GCN with bias, ResGCN, APPNPを含む深度の増加とともにどのように振る舞うかを検討する。 そこで我々はDropEdgeを提案し,各トレーニングエポックにおいて一定数のエッジをランダムに除去することで過度なスムース化を緩和する。
  論文  参考訳（メタデータ） (2020-08-22T16:14:01Z)
• Simple and Deep Graph Convolutional Networks [63.76221532439285]
  グラフ畳み込みネットワーク(GCN)は、グラフ構造化データに対する強力なディープラーニングアプローチである。 その成功にもかかわらず、現在のGCNモデルは、エムの過度に滑らかな問題のため、ほとんどが浅くなっている。 本稿では,2つの単純かつ効果的な手法を用いて,バニラGCNモデルを拡張したGCNIIを提案する。
  論文  参考訳（メタデータ） (2020-07-04T16:18:06Z)
• Understanding and Resolving Performance Degradation in Graph Convolutional Networks [105.14867349802898]
  グラフ畳み込みネットワーク(GCN)は複数のレイヤを積み重ね、グラフ構造化データ上でノード表現を学習するためのPROPとTRANを実行する。 GCNはモデルが深くなるとパフォーマンスが低下する傾向がある。 本稿では,TRANやPROPのみを積み重ねることによるGCNの性能劣化について実験的に検討する。
  論文  参考訳（メタデータ） (2020-06-12T12:12:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。