論文の概要: SkipNode: On Alleviating Over-smoothing for Deep Graph Convolutional Networks

• arxiv url: http://arxiv.org/abs/2112.11628v1
• Date: Wed, 22 Dec 2021 02:18:31 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-23 15:36:47.553320
• Title: SkipNode: On Alleviating Over-smoothing for Deep Graph Convolutional Networks
• Title（参考訳）: SkipNode:ディープグラフ畳み込みネットワークのオーバースムーシングを緩和する
• Authors: Weigang Lu, Yibing Zhan, Ziyu Guan, Liu Liu, Baosheng Yu, Wei Zhao, Yaming Yang, and Dacheng Tao
• Abstract要約: オーバースムーシングは、ディープグラフ畳み込みネットワーク(GCN)の性能を低下させる難しい問題である。 本稿では, 過密化問題, すなわち, 機能多様性の劣化, 勾配の消失, およびモデル重量の過密化の根底にある問題を解析する。 オーバー・スムーシングを緩和する,シンプルで効果的なプラグイン・アンド・プレイモジュールであるSkipNodeを提案する。
• 参考スコア（独自算出の注目度）: 77.26985515663328
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Over-smoothing is a challenging problem, which degrades the performance of deep graph convolutional networks (GCNs). However, existing studies for alleviating the over-smoothing problem lack either generality or effectiveness. In this paper, we analyze the underlying issues behind the over-smoothing problem, i.e., feature-diversity degeneration, gradient vanishing, and model weights over-decaying. Inspired by this, we propose a simple yet effective plug-and-play module, SkipNode, to alleviate over-smoothing. Specifically, for each middle layer of a GCN model, SkipNode randomly (or based on node degree) selects nodes to skip the convolutional operation by directly feeding their input features to the nonlinear function. Analytically, 1) skipping the convolutional operation prevents the features from losing diversity; and 2) the "skipped" nodes enable gradients to be directly passed back, thus mitigating the gradient vanishing and model weights over-decaying issues. To demonstrate the superiority of SkipNode, we conduct extensive experiments on nine popular datasets, including both homophilic and heterophilic graphs, with different graph sizes on two typical tasks: node classification and link prediction. Specifically, 1) SkipNode has strong generalizability of being applied to various GCN-based models on different datasets and tasks; and 2) SkipNode outperforms recent state-of-the-art anti-over-smoothing plug-and-play modules, i.e., DropEdge and DropNode, in different settings. Code will be made publicly available on GitHub.
• Abstract（参考訳）: オーバースムーシングは、ディープグラフ畳み込みネットワーク(GCN)の性能を低下させる難しい問題である。 しかし、過度に平滑な問題を緩和するための既存の研究は、一般性や有効性に欠ける。 本稿では, 過密化問題, すなわち, 機能多様性の劣化, 勾配の消失, およびモデル重量の過密化の根底にある問題を解析する。 そこで我々は,オーバースムーシングを緩和する簡易かつ効果的なプラグイン・アンド・プレイモジュールであるskipnodeを提案する。 具体的には、gcnモデルの各中間層に対して、ノードをランダムに(あるいはノード次数に基づいて)選択し、入力特徴を直接非線形関数に供給することで畳み込み操作をスキップする。 分析的に 1)畳み込み動作をスキップすると、特徴が多様性を失うのを防ぐ。 2) "スクリット" ノードは勾配を直接戻せるので、勾配の消滅とモデルの重み付けの過度な問題を軽減することができる。 SkipNodeの優位性を示すために、ノード分類とリンク予測という2つの典型的なタスクにおいて、同好性グラフと異好性グラフの両方を含む9つの一般的なデータセットについて広範な実験を行った。 具体的には 1)SkipNodeは、さまざまなデータセットやタスク上の様々なGCNベースのモデルに適用できる強力な一般化性を持っている。 2) SkipNodeは、最新の最先端のアンチオーバースムースなプラグイン、すなわちDropEdgeとDropNodeを異なる設定でパフォーマンスします。 コードはGitHubで公開されている。

関連論文リスト

• Taming Gradient Oversmoothing and Expansion in Graph Neural Networks [3.0764244780817283]
  オーバースムーシングはグラフニューラルネットワーク(GNN)の主要なボトルネックとして主張されている。 トレーニング中に最適化を防ぐための$textitgradient oversmoothingの存在を示します。 勾配拡大を防止するため, 単純かつ効果的な正規化法を提案する。
  論文  参考訳（メタデータ） (2024-10-07T08:22:20Z)
• Node Duplication Improves Cold-start Link Prediction [52.917775253887264]
  グラフニューラルネットワーク(GNN)は、グラフ機械学習において顕著である。 近年の研究では、GNNは低次ノードで良い結果を出すのに苦労していることが示されている。 我々はNodeDupと呼ばれるシンプルだが驚くほど効果的な拡張手法を提案する。
  論文  参考訳（メタデータ） (2024-02-15T05:07:39Z)
• A Non-Asymptotic Analysis of Oversmoothing in Graph Neural Networks [33.35609077417775]
  非漸近解析により,この現象の背後にあるメカニズムを特徴づける。 混合効果がデノナイジング効果を支配し始めると,過スムージングが生じることを示す。 以上の結果から,PPRは深い層での過度なスムース化を緩和するが,PPRベースのアーキテクチャは依然として浅い深さで最高の性能を発揮することが示唆された。
  論文  参考訳（メタデータ） (2022-12-21T00:33:59Z)
• Deep Manifold Learning with Graph Mining [80.84145791017968]
  グラフマイニングのための非段階的決定層を持つ新しいグラフ深層モデルを提案する。 提案モデルでは,現行モデルと比較して最先端性能を実現している。
  論文  参考訳（メタデータ） (2022-07-18T04:34:08Z)
• Revisiting Graph Convolutional Network on Semi-Supervised Node Classification from an Optimization Perspective [10.178145000390671]
  グラフ畳み込みネットワーク(GCN)は、様々なグラフベースのタスクにおいて有望な性能を達成した。 しかし、より多くのレイヤを積み重ねる際には、過剰なスムーシングに悩まされる。 本稿では,この観測を定量的に研究し,より深いGCNに対する新たな洞察を開拓する。
  論文  参考訳（メタデータ） (2020-09-24T03:36:43Z)
• Tackling Over-Smoothing for General Graph Convolutional Networks [88.71154017107257]
  一般的なGCNは、GCN, GCN with bias, ResGCN, APPNPを含む深度の増加とともにどのように振る舞うかを検討する。 そこで我々はDropEdgeを提案し,各トレーニングエポックにおいて一定数のエッジをランダムに除去することで過度なスムース化を緩和する。
  論文  参考訳（メタデータ） (2020-08-22T16:14:01Z)
• Simple and Deep Graph Convolutional Networks [63.76221532439285]
  グラフ畳み込みネットワーク(GCN)は、グラフ構造化データに対する強力なディープラーニングアプローチである。 その成功にもかかわらず、現在のGCNモデルは、エムの過度に滑らかな問題のため、ほとんどが浅くなっている。 本稿では,2つの単純かつ効果的な手法を用いて,バニラGCNモデルを拡張したGCNIIを提案する。
  論文  参考訳（メタデータ） (2020-07-04T16:18:06Z)
• Understanding and Resolving Performance Degradation in Graph Convolutional Networks [105.14867349802898]
  グラフ畳み込みネットワーク(GCN)は複数のレイヤを積み重ね、グラフ構造化データ上でノード表現を学習するためのPROPとTRANを実行する。 GCNはモデルが深くなるとパフォーマンスが低下する傾向がある。 本稿では,TRANやPROPのみを積み重ねることによるGCNの性能劣化について実験的に検討する。
  論文  参考訳（メタデータ） (2020-06-12T12:12:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。