論文の概要: Understanding and Resolving Performance Degradation in Graph Convolutional Networks

• arxiv url: http://arxiv.org/abs/2006.07107v3
• Date: Mon, 13 Sep 2021 15:11:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-22 02:50:15.397838
• Title: Understanding and Resolving Performance Degradation in Graph Convolutional Networks
• Title（参考訳）: グラフ畳み込みネットワークにおける性能劣化の理解と解決
• Authors: Kuangqi Zhou, Yanfei Dong, Kaixin Wang, Wee Sun Lee, Bryan Hooi, Huan Xu, Jiashi Feng
• Abstract要約: グラフ畳み込みネットワーク(GCN)は複数のレイヤを積み重ね、グラフ構造化データ上でノード表現を学習するためのPROPとTRANを実行する。 GCNはモデルが深くなるとパフォーマンスが低下する傾向がある。 本稿では,TRANやPROPのみを積み重ねることによるGCNの性能劣化について実験的に検討する。
• 参考スコア（独自算出の注目度）: 105.14867349802898
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A Graph Convolutional Network (GCN) stacks several layers and in each layer performs a PROPagation operation (PROP) and a TRANsformation operation (TRAN) for learning node representations over graph-structured data. Though powerful, GCNs tend to suffer performance drop when the model gets deep. Previous works focus on PROPs to study and mitigate this issue, but the role of TRANs is barely investigated. In this work, we study performance degradation of GCNs by experimentally examining how stacking only TRANs or PROPs works. We find that TRANs contribute significantly, or even more than PROPs, to declining performance, and moreover that they tend to amplify node-wise feature variance in GCNs, causing variance inflammation that we identify as a key factor for causing performance drop. Motivated by such observations, we propose a variance-controlling technique termed Node Normalization (NodeNorm), which scales each node's features using its own standard deviation. Experimental results validate the effectiveness of NodeNorm on addressing performance degradation of GCNs. Specifically, it enables deep GCNs to outperform shallow ones in cases where deep models are needed, and to achieve comparable results with shallow ones on 6 benchmark datasets. NodeNorm is a generic plug-in and can well generalize to other GNN architectures. Code is publicly available at https://github.com/miafei/NodeNorm.
• Abstract（参考訳）: グラフ畳み込みネットワーク(gcn)は複数の層を積み重ね、各層で伝搬演算(prop)と変換演算(tran)を行い、グラフ構造データ上でノード表現を学習する。 しかし、GCNはモデルが深くなるとパフォーマンスが低下する傾向がある。 以前の研究は研究と緩和のための小道具に焦点を当てていたが、transの役割はほとんど調査されていない。 本研究では,TRANやPROPのみを積み重ねることによるGCNの性能劣化について実験的に検討する。 また,TRANはパフォーマンス低下に大きく寄与し,またGCNのノード的特徴分散を増幅する傾向があり,また,パフォーマンス低下の原因となる要因として,分散炎症を生じさせることも見いだした。 そこで我々は,ノード正規化(NodeNorm)と呼ばれる分散制御手法を提案し,各ノードの特徴を標準偏差を用いて拡張する。 実験により,GCNの性能劣化に対するNodeNormの有効性が検証された。 特に、深層gcnは、深層モデルが必要な場合に浅層gcnよりも優れており、6つのベンチマークデータセットで浅層gcnと同等の結果が得られる。 NodeNormはジェネリックプラグインであり、他のGNNアーキテクチャにうまく一般化することができる。 コードはhttps://github.com/miafei/nodenormで公開されている。

関連論文リスト

• DRGCN: Dynamic Evolving Initial Residual for Deep Graph Convolutional Networks [19.483662490506646]
  我々はDRGCN(Residual Graph Convolutional Network)と呼ばれる新しいモデルを提案する。 実験結果から, 深部GCNの過密化問題を効果的に解消できることが示唆された。 我々のモデルはOpen Graph Benchmark (OGB) の大規模ogbn-arxivデータセット上で新しいSOTA結果に達する。
  論文  参考訳（メタデータ） (2023-02-10T06:57:12Z)
• ResNorm: Tackling Long-tailed Degree Distribution Issue in Graph Neural Networks via Normalization [80.90206641975375]
  本稿では,正規化によるGNNの性能向上に焦点をあてる。 グラフ中のノード次数の長期分布を調べることにより、GNNの新しい正規化法を提案する。 ResNormの$scale$操作は、尾ノードの精度を向上させるために、ノード単位の標準偏差(NStd)分布を再設定する。
  論文  参考訳（メタデータ） (2022-06-16T13:49:09Z)
• SkipNode: On Alleviating Performance Degradation for Deep Graph Convolutional Networks [84.30721808557871]
  我々は,深いGCNにおける性能劣化の根本的な原因を探るため,理論的および実験的解析を行う。 我々は,深いGCNの性能劣化を克服するために,シンプルで効果的なプラグイン・アンド・プレイモジュールであるSkipnodeを提案する。
  論文  参考訳（メタデータ） (2021-12-22T02:18:31Z)
• Node Feature Kernels Increase Graph Convolutional Network Robustness [19.076912727990326]
  グラフ畳み込みネットワーク(GCN)の入力の摂動に対する堅牢性は、ますます重要になっているトピックになりつつある。 本稿では,ランダム行列理論解析が可能である。 グラフ構造の隣接行列にノード特徴カーネルを追加することで、GCNにおけるメッセージパッシングステップの強化がこの問題を解決することが観察された。
  論文  参考訳（メタデータ） (2021-09-04T04:20:45Z)
• Tackling Over-Smoothing for General Graph Convolutional Networks [88.71154017107257]
  一般的なGCNは、GCN, GCN with bias, ResGCN, APPNPを含む深度の増加とともにどのように振る舞うかを検討する。 そこで我々はDropEdgeを提案し,各トレーニングエポックにおいて一定数のエッジをランダムに除去することで過度なスムース化を緩和する。
  論文  参考訳（メタデータ） (2020-08-22T16:14:01Z)
• DeeperGCN: All You Need to Train Deeper GCNs [66.64739331859226]
  グラフ畳み込みネットワーク(GCN)はグラフ上での表現学習の力で注目されている。 非常に深いレイヤを積み重ねることのできる畳み込みニューラルネットワーク(CNN)とは異なり、GCNはより深く進むと、勾配の消失、過度なスムース化、過度に適合する問題に悩まされる。 本稿では,非常に深いGCNを正常かつ確実に訓練できるDeeperGCNを提案する。
  論文  参考訳（メタデータ） (2020-06-13T23:00:22Z)
• Towards Deeper Graph Neural Networks with Differentiable Group Normalization [61.20639338417576]
  グラフニューラルネットワーク(GNN)は、隣接するノードを集約することでノードの表現を学習する。 オーバースムーシングは、レイヤーの数が増えるにつれてGNNのパフォーマンスが制限される重要な問題のひとつです。 2つのオーバースムースなメトリクスと新しいテクニック、すなわち微分可能群正規化(DGN)を導入する。
  論文  参考訳（メタデータ） (2020-06-12T07:18:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。