論文の概要: Beyond Over-smoothing: Uncovering the Trainability Challenges in Deep Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2408.03669v1
• Date: Wed, 7 Aug 2024 10:24:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-08 13:14:23.173000
• Title: Beyond Over-smoothing: Uncovering the Trainability Challenges in Deep Graph Neural Networks
• Title（参考訳）: オーバースムーシングを超えて - ディープグラフニューラルネットワークのトレーナビリティ問題を明らかにする
• Authors: Jie Peng, Runlin Lei, Zhewei Wei,
• Abstract要約: グラフ伝播層の深さが8-10を超えるグラフニューラルネットワーク(GNN)の劇的な性能劣化は,過度なスムーシング現象によるものと広く考えられている。 近年の研究では、過度な平滑化がこのような性能劣化の主因ではないことが示唆されているが、理論的な観点から厳密な分析は提供されていない。 オーバー・スムーシングに対処すると考えられる様々な既存手法は、勾配のトレーニング性を実際に改善している。
• 参考スコア（独自算出の注目度）: 26.9645501876559
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The drastic performance degradation of Graph Neural Networks (GNNs) as the depth of the graph propagation layers exceeds 8-10 is widely attributed to a phenomenon of Over-smoothing. Although recent research suggests that Over-smoothing may not be the dominant reason for such a performance degradation, they have not provided rigorous analysis from a theoretical view, which warrants further investigation. In this paper, we systematically analyze the real dominant problem in deep GNNs and identify the issues that these GNNs towards addressing Over-smoothing essentially work on via empirical experiments and theoretical gradient analysis. We theoretically prove that the difficult training problem of deep MLPs is actually the main challenge, and various existing methods that supposedly tackle Over-smoothing actually improve the trainability of MLPs, which is the main reason for their performance gains. Our further investigation into trainability issues reveals that properly constrained smaller upper bounds of gradient flow notably enhance the trainability of GNNs. Experimental results on diverse datasets demonstrate consistency between our theoretical findings and empirical evidence. Our analysis provides new insights in constructing deep graph models.
• Abstract（参考訳）: グラフ伝播層の深さが8-10を超えるグラフニューラルネットワーク(GNN)の劇的な性能劣化は,過度なスムーシング現象によるものと広く考えられている。 近年の研究では、過度な平滑化がこのような性能劣化の主要な原因ではないことが示唆されているが、理論的な観点から厳密な分析を提供しておらず、さらなる調査が保証されている。 本稿では,深部GNNにおける真の支配的問題を系統的に解析し,これらのGNNが過度にスムースに対処する上での課題を,経験的実験と理論的勾配解析によって明らかにする。 提案手法は,深層MLPの訓練が困難であるということが理論的に証明されており,オーバースムースに対処すると考えられる既存の手法は,その性能向上の主な理由であるMPPのトレーニング性の向上を実際に実現している。 トレーニング性に関するさらなる研究により,GNNのトレーニング性の向上が顕著に示された。 多様なデータセットに関する実験結果は、我々の理論的発見と経験的証拠との整合性を実証している。 我々の分析は、ディープグラフモデルの構築における新たな洞察を提供する。

関連論文リスト

• Spiking Graph Neural Network on Riemannian Manifolds [51.15400848660023]
  グラフニューラルネットワーク(GNN)は、グラフの学習において支配的なソリューションとなっている。 既存のスパイク GNN はユークリッド空間のグラフを考慮し、構造幾何学を無視している。 マニフォールド値スパイキングGNN(MSG)を提案する。 MSGは従来のGNNよりも優れた性能とエネルギー効率を実現している。
  論文  参考訳（メタデータ） (2024-10-23T15:09:02Z)
• Taming Gradient Oversmoothing and Expansion in Graph Neural Networks [3.0764244780817283]
  オーバースムーシングはグラフニューラルネットワーク(GNN)の主要なボトルネックとして主張されている。 トレーニング中に最適化を防ぐための$textitgradient oversmoothingの存在を示します。 勾配拡大を防止するため, 単純かつ効果的な正規化法を提案する。
  論文  参考訳（メタデータ） (2024-10-07T08:22:20Z)
• Feature Overcorrelation in Deep Graph Neural Networks: A New Perspective [44.96635754139024]
  オーバースムーシングは、深いGNNの性能を制限する重要な問題の1つとして特定されている。 本稿では, 深部GNNの性能劣化, すなわち, 機能の過度な相関について考察する。 特徴相関を低減するために,GNNが冗長な情報をエンコードすることを促進できる汎用フレームワークであるDeCorrを提案する。
  論文  参考訳（メタデータ） (2022-06-15T18:13:52Z)
• CAP: Co-Adversarial Perturbation on Weights and Features for Improving Generalization of Graph Neural Networks [59.692017490560275]
  敵の訓練は、敵の攻撃に対するモデルの堅牢性を改善するために広く実証されてきた。 グラフ解析問題におけるGNNの一般化能力をどのように改善するかは、まだ不明である。 我々は、重みと特徴量の観点から共振器摂動(CAP)最適化問題を構築し、重みと特徴の損失を交互に平らにする交互対振器摂動アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2021-10-28T02:28:13Z)
• Graph Partner Neural Networks for Semi-Supervised Learning on Graphs [16.489177915147785]
  グラフ畳み込みネットワーク(GCN)は、グラフ構造化データを処理するのに強力であり、ノード分類、リンク予測、グラフ分類などのタスクで最先端のパフォーマンスを達成した。 グラフ畳み込み処理を繰り返した後にノードの表現が区別できない傾向にあるため、深いGCNが過度に滑らかな問題に悩まされることは避けられない。 本稿では,非パラメータ化GCNとパラメータ共有スキームを組み合わせたグラフパートナーニューラルネットワーク(GPNN)を提案する。
  論文  参考訳（メタデータ） (2021-10-18T10:56:56Z)
• Evaluating Deep Graph Neural Networks [27.902290204531326]
  グラフニューラルネットワーク(GNN)はすでに様々なグラフマイニングタスクに広く適用されている。 モデルの性能改善を妨げる重要な障害である、浅いアーキテクチャの問題に悩まされている。 本稿では,ディープグラフ多層パーセプトロン(DGMLP)について述べる。
  論文  参考訳（メタデータ） (2021-08-02T14:55:10Z)
• Optimization of Graph Neural Networks: Implicit Acceleration by Skip Connections and More Depth [57.10183643449905]
  グラフニューラルネットワーク(GNN)は表現力と一般化のレンズから研究されている。 GNNのダイナミクスを深部スキップ最適化により研究する。 本研究は,GNNの成功に対する最初の理論的支援を提供する。
  論文  参考訳（メタデータ） (2021-05-10T17:59:01Z)
• Wide Graph Neural Networks: Aggregation Provably Leads to Exponentially Trainability Loss [17.39060566854841]
  グラフ畳み込みネットワーク(GCN)とその変種は、グラフ構造化データを扱う上で大きな成功を収めた。 深いGCNが過スムージング問題に苦しむことはよく知られています。 深部GCNの表現性と訓練性を研究するための理論的分析はほとんど行われていない。
  論文  参考訳（メタデータ） (2021-03-03T11:06:12Z)
• How Neural Networks Extrapolate: From Feedforward to Graph Neural Networks [80.55378250013496]
  勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。 グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
  論文  参考訳（メタデータ） (2020-09-24T17:48:59Z)
• Towards Deeper Graph Neural Networks [63.46470695525957]
  グラフ畳み込みは近傍の集約を行い、最も重要なグラフ操作の1つである。 いくつかの最近の研究で、この性能劣化は過度に滑らかな問題に起因している。 本研究では,大きな受容領域からの情報を適応的に組み込むディープ適応グラフニューラルネットワーク(DAGNN)を提案する。
  論文  参考訳（メタデータ） (2020-07-18T01:11:14Z)
• Optimization and Generalization Analysis of Transduction through Gradient Boosting and Application to Multi-scale Graph Neural Networks [60.22494363676747]
  現在のグラフニューラルネットワーク(GNN)は、オーバースムーシング(over-smoothing)と呼ばれる問題のため、自分自身を深くするのは難しいことが知られている。 マルチスケールGNNは、オーバースムーシング問題を緩和するための有望なアプローチである。 マルチスケールGNNを含むトランスダクティブ学習アルゴリズムの最適化と一般化を保証する。
  論文  参考訳（メタデータ） (2020-06-15T17:06:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。