論文の概要: Revisiting Over-smoothing in Deep GCNs

• arxiv url: http://arxiv.org/abs/2003.13663v5
• Date: Wed, 17 Jun 2020 21:45:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-18 06:49:46.157435
• Title: Revisiting Over-smoothing in Deep GCNs
• Title（参考訳）: 深層gcnsにおけるオーバースムーシングの再検討
• Authors: Chaoqi Yang, Ruijie Wang, Shuochao Yao, Shengzhong Liu, Tarek Abdelzaher
• Abstract要約: オーバースムーシングはディープグラフ畳み込みネットワーク(GCN)の性能低下の主な原因であると考えられている。 本稿では,深いGCNがトレーニング中に反過度に学習できることを新たな視点として提案する。
• 参考スコア（独自算出の注目度）: 8.708844162351332
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Oversmoothing has been assumed to be the major cause of performance drop in deep graph convolutional networks (GCNs). In this paper, we propose a new view that deep GCNs can actually learn to anti-oversmooth during training. This work interprets a standard GCN architecture as layerwise integration of a Multi-layer Perceptron (MLP) and graph regularization. We analyze and conclude that before training, the final representation of a deep GCN does over-smooth, however, it learns anti-oversmoothing during training. Based on the conclusion, the paper further designs a cheap but effective trick to improve GCN training. We verify our conclusions and evaluate the trick on three citation networks and further provide insights on neighborhood aggregation in GCNs.
• Abstract（参考訳）: オーバースムーシングは、ディープグラフ畳み込みネットワーク(GCN)の性能低下の主な原因であると考えられている。 本稿では,深いGCNがトレーニング中に反過度に学習できることを新たな視点として提案する。 この研究は、標準的なGCNアーキテクチャを、多層パーセプトロン(MLP)とグラフ正規化の階層的な統合として解釈する。 トレーニングの前に、深いGCNの最終的な表現は過度に滑らかになるが、トレーニング中に反過度に学習する。 結論に基づき,GCNトレーニングを改善するための,安価で効果的な手法を考案した。 提案手法の検証と3つの引用ネットワーク上でのトリックの評価を行い,GCNにおける周辺集約に関する洞察を提供する。

関連論文リスト

• Beyond Graph Convolutional Network: An Interpretable Regularizer-centered Optimization Framework [12.116373546916078]
  グラフ畳み込みネットワーク(GCN)は、性能向上と強力な一般化により、広く注目を集めている。 本稿では,ほとんどのGCNを解釈可能な正規化器中心最適化フレームワークを提案する。 提案フレームワークでは,グラフデータからトポロジとセマンティック構造を捉えるために,二重正規化グラフ畳み込みネットワーク(dubed tsGCN)を考案した。
  論文  参考訳（メタデータ） (2023-01-11T05:51:33Z)
• Old can be Gold: Better Gradient Flow can Make Vanilla-GCNs Great Again [96.4999517230259]
  我々は,深いGCNの準標準性能を理解するために,勾配流の新しい視点を提供する。 スキップ接続を用いたバニラGCNの勾配誘導動的スイッチングを提案する。 我々の手法は、彼らのパフォーマンスを大幅に向上させ、快適に競争し、多くの最先端の手法より優れています。
  論文  参考訳（メタデータ） (2022-10-14T21:30:25Z)
• Multi-scale Graph Convolutional Networks with Self-Attention [2.66512000865131]
  グラフ畳み込みネットワーク(GCN)は,様々なグラフ構造データを扱うための優れた学習能力を実現している。 GCNsの重要な問題として, 過平滑化現象が解決され, 検討が続けられている。 本稿では,GCNの設計に自己認識機構とマルチスケール情報を取り入れた2つの新しいマルチスケールGCNフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-12-04T04:41:24Z)
• Graph Partner Neural Networks for Semi-Supervised Learning on Graphs [16.489177915147785]
  グラフ畳み込みネットワーク(GCN)は、グラフ構造化データを処理するのに強力であり、ノード分類、リンク予測、グラフ分類などのタスクで最先端のパフォーマンスを達成した。 グラフ畳み込み処理を繰り返した後にノードの表現が区別できない傾向にあるため、深いGCNが過度に滑らかな問題に悩まされることは避けられない。 本稿では,非パラメータ化GCNとパラメータ共有スキームを組み合わせたグラフパートナーニューラルネットワーク(GPNN)を提案する。
  論文  参考訳（メタデータ） (2021-10-18T10:56:56Z)
• Tackling Over-Smoothing for General Graph Convolutional Networks [88.71154017107257]
  一般的なGCNは、GCN, GCN with bias, ResGCN, APPNPを含む深度の増加とともにどのように振る舞うかを検討する。 そこで我々はDropEdgeを提案し,各トレーニングエポックにおいて一定数のエッジをランダムに除去することで過度なスムース化を緩和する。
  論文  参考訳（メタデータ） (2020-08-22T16:14:01Z)
• Simple and Deep Graph Convolutional Networks [63.76221532439285]
  グラフ畳み込みネットワーク(GCN)は、グラフ構造化データに対する強力なディープラーニングアプローチである。 その成功にもかかわらず、現在のGCNモデルは、エムの過度に滑らかな問題のため、ほとんどが浅くなっている。 本稿では,2つの単純かつ効果的な手法を用いて,バニラGCNモデルを拡張したGCNIIを提案する。
  論文  参考訳（メタデータ） (2020-07-04T16:18:06Z)
• DeeperGCN: All You Need to Train Deeper GCNs [66.64739331859226]
  グラフ畳み込みネットワーク(GCN)はグラフ上での表現学習の力で注目されている。 非常に深いレイヤを積み重ねることのできる畳み込みニューラルネットワーク(CNN)とは異なり、GCNはより深く進むと、勾配の消失、過度なスムース化、過度に適合する問題に悩まされる。 本稿では,非常に深いGCNを正常かつ確実に訓練できるDeeperGCNを提案する。
  論文  参考訳（メタデータ） (2020-06-13T23:00:22Z)
• L$^2$-GCN: Layer-Wise and Learned Efficient Training of Graph Convolutional Networks [118.37805042816784]
  グラフ畳み込みネットワーク(GCN)は、多くのアプリケーションで人気が高まっているが、大きなグラフデータセットをトレーニングするのは依然として難しい。 本稿では,GCN (L-GCN) のための新しいレイヤワイドトレーニングフレームワークを提案する。 実験の結果、L-GCNは少なくとも1桁の精度で最先端よりも高速であり、メモリ使用量はデータセットのサイズに依存しないことがわかった。
  論文  参考訳（メタデータ） (2020-03-30T16:37:56Z)
• LightGCN: Simplifying and Powering Graph Convolution Network for Recommendation [100.76229017056181]
  Graph Convolution Network (GCN)は、協調フィルタリングのための新しい最先端技術となった。 本研究は,GCNの設計を簡略化し,より簡潔かつ適切なレコメンデーションを実現することを目的としている。 我々は,光GCNと呼ばれる新しいモデルを提案する。
  論文  参考訳（メタデータ） (2020-02-06T06:53:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。