論文の概要: Tackling Over-Smoothing for General Graph Convolutional Networks

• arxiv url: http://arxiv.org/abs/2008.09864v5
• Date: Sat, 9 Jul 2022 01:41:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-26 07:46:24.208195
• Title: Tackling Over-Smoothing for General Graph Convolutional Networks
• Title（参考訳）: 汎用グラフ畳み込みネットワークのためのオーバースムーシング
• Authors: Wenbing Huang, Yu Rong, Tingyang Xu, Fuchun Sun, Junzhou Huang
• Abstract要約: 一般的なGCNは、GCN, GCN with bias, ResGCN, APPNPを含む深度の増加とともにどのように振る舞うかを検討する。 そこで我々はDropEdgeを提案し,各トレーニングエポックにおいて一定数のエッジをランダムに除去することで過度なスムース化を緩和する。
• 参考スコア（独自算出の注目度）: 88.71154017107257
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Increasing the depth of GCN, which is expected to permit more expressivity, is shown to incur performance detriment especially on node classification. The main cause of this lies in over-smoothing. The over-smoothing issue drives the output of GCN towards a space that contains limited distinguished information among nodes, leading to poor expressivity. Several works on refining the architecture of deep GCN have been proposed, but it is still unknown in theory whether or not these refinements are able to relieve over-smoothing. In this paper, we first theoretically analyze how general GCNs act with the increase in depth, including generic GCN, GCN with bias, ResGCN, and APPNP. We find that all these models are characterized by a universal process: all nodes converging to a cuboid. Upon this theorem, we propose DropEdge to alleviate over-smoothing by randomly removing a certain number of edges at each training epoch. Theoretically, DropEdge either reduces the convergence speed of over-smoothing or relieves the information loss caused by dimension collapse. Experimental evaluations on simulated dataset have visualized the difference in over-smoothing between different GCNs. Moreover, extensive experiments on several real benchmarks support that DropEdge consistently improves the performance on a variety of both shallow and deep GCNs.
• Abstract（参考訳）: 表現性の向上を期待するGCNの深さの増大は,特にノード分類において性能低下を引き起こすことを示す。 この主な原因は、過剰な喫煙にある。 過度に滑らかな問題により、GCNの出力はノード間の限られた区別情報を含む空間へと誘導され、表現性が低下する。 深層GCNのアーキテクチャを改良するいくつかの研究が提案されているが、これらの改良が過度に平滑化できるかどうかは不明である。 本稿ではまず,一般GCNがGCN,GCN,バイアス付きGCN,ResGCN,APPNPなどの深さ増加にどのように作用するかを理論的に分析する。 これらのモデルはすべて普遍的なプロセスによって特徴づけられる:すべてのノードがキューブイドに収束する。 この定理に基づいて,各トレーニング時代において一定数のエッジをランダムに削除することにより,過剰スムーシングを緩和するドロップエッジを提案する。 理論的には、ドロップエッジはオーバースムーシングの収束速度を減少させるか、次元崩壊による情報損失を緩和する。 シミュレーションデータセットの実験的評価は、異なるGCN間のオーバースムーシングの違いを可視化した。 さらに、いくつかの実際のベンチマークに関する広範な実験では、DropEdgeは浅いGCNと深いGCNの両方のパフォーマンスを一貫して改善している。

関連論文リスト

• Graph Neural Networks Do Not Always Oversmooth [46.57665708260211]
  グラフ畳み込みネットワーク (GCN) における過剰スムーシングを, 無限に多くの隠れた特徴の極限におけるガウス過程 (GP) の等価性を用いて検討する。 ネットワークの初期重みが十分に大きな場合、GCNは過度に過度に変化せず、ノード特徴は大きな深さでも情報的のままである。
  論文  参考訳（メタデータ） (2024-06-04T12:47:13Z)
• SkipNode: On Alleviating Performance Degradation for Deep Graph Convolutional Networks [84.30721808557871]
  我々は,深いGCNにおける性能劣化の根本的な原因を探るため,理論的および実験的解析を行う。 我々は,深いGCNの性能劣化を克服するために,シンプルで効果的なプラグイン・アンド・プレイモジュールであるSkipnodeを提案する。
  論文  参考訳（メタデータ） (2021-12-22T02:18:31Z)
• Revisiting Graph Convolutional Network on Semi-Supervised Node Classification from an Optimization Perspective [10.178145000390671]
  グラフ畳み込みネットワーク(GCN)は、様々なグラフベースのタスクにおいて有望な性能を達成した。 しかし、より多くのレイヤを積み重ねる際には、過剰なスムーシングに悩まされる。 本稿では,この観測を定量的に研究し,より深いGCNに対する新たな洞察を開拓する。
  論文  参考訳（メタデータ） (2020-09-24T03:36:43Z)
• Simple and Deep Graph Convolutional Networks [63.76221532439285]
  グラフ畳み込みネットワーク(GCN)は、グラフ構造化データに対する強力なディープラーニングアプローチである。 その成功にもかかわらず、現在のGCNモデルは、エムの過度に滑らかな問題のため、ほとんどが浅くなっている。 本稿では,2つの単純かつ効果的な手法を用いて,バニラGCNモデルを拡張したGCNIIを提案する。
  論文  参考訳（メタデータ） (2020-07-04T16:18:06Z)
• Investigating and Mitigating Degree-Related Biases in Graph Convolutional Networks [62.8504260693664]
  グラフ畳み込みネットワーク(GCN)は、グラフ上の半教師付き学習タスクに対して有望な結果を示す。 本稿では,ノード次数分布に関するGCNを解析する。 本稿では,GCNの次数バイアスを緩和する自己監督型DegreeSpecific GCN(SL-DSGC)を開発した。
  論文  参考訳（メタデータ） (2020-06-28T16:26:47Z)
• DeeperGCN: All You Need to Train Deeper GCNs [66.64739331859226]
  グラフ畳み込みネットワーク(GCN)はグラフ上での表現学習の力で注目されている。 非常に深いレイヤを積み重ねることのできる畳み込みニューラルネットワーク(CNN)とは異なり、GCNはより深く進むと、勾配の消失、過度なスムース化、過度に適合する問題に悩まされる。 本稿では,非常に深いGCNを正常かつ確実に訓練できるDeeperGCNを提案する。
  論文  参考訳（メタデータ） (2020-06-13T23:00:22Z)
• Understanding and Resolving Performance Degradation in Graph Convolutional Networks [105.14867349802898]
  グラフ畳み込みネットワーク(GCN)は複数のレイヤを積み重ね、グラフ構造化データ上でノード表現を学習するためのPROPとTRANを実行する。 GCNはモデルが深くなるとパフォーマンスが低下する傾向がある。 本稿では,TRANやPROPのみを積み重ねることによるGCNの性能劣化について実験的に検討する。
  論文  参考訳（メタデータ） (2020-06-12T12:12:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。