論文の概要: Wide Graph Neural Networks: Aggregation Provably Leads to Exponentially Trainability Loss

• arxiv url: http://arxiv.org/abs/2103.03113v1
• Date: Wed, 3 Mar 2021 11:06:12 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-05 15:08:54.924788
• Title: Wide Graph Neural Networks: Aggregation Provably Leads to Exponentially Trainability Loss
• Title（参考訳）: 広義のグラフニューラルネットワーク: 集約はおそらく、指数的トレーサビリティ損失につながる
• Authors: Wei Huang, Yayong Li, Weitao Du, Richard Yi Da Xu, Jie Yin, and Ling Chen
• Abstract要約: グラフ畳み込みネットワーク(GCN)とその変種は、グラフ構造化データを扱う上で大きな成功を収めた。 深いGCNが過スムージング問題に苦しむことはよく知られています。 深部GCNの表現性と訓練性を研究するための理論的分析はほとんど行われていない。
• 参考スコア（独自算出の注目度）: 17.39060566854841
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph convolutional networks (GCNs) and their variants have achieved great success in dealing with graph-structured data. However, it is well known that deep GCNs will suffer from over-smoothing problem, where node representations tend to be indistinguishable as we stack up more layers. Although extensive research has confirmed this prevailing understanding, few theoretical analyses have been conducted to study the expressivity and trainability of deep GCNs. In this work, we demonstrate these characterizations by studying the Gaussian Process Kernel (GPK) and Graph Neural Tangent Kernel (GNTK) of an infinitely-wide GCN, corresponding to the analysis on expressivity and trainability, respectively. We first prove the expressivity of infinitely-wide GCNs decaying at an exponential rate by applying the mean-field theory on GPK. Besides, we formulate the asymptotic behaviors of GNTK in the large depth, which enables us to reveal the dropping trainability of wide and deep GCNs at an exponential rate. Additionally, we extend our theoretical framework to analyze residual connection-resemble techniques. We found that these techniques can mildly mitigate exponential decay, but they failed to overcome it fundamentally. Finally, all theoretical results in this work are corroborated experimentally on a variety of graph-structured datasets.
• Abstract（参考訳）: グラフ畳み込みネットワーク(GCN)とその変種は、グラフ構造化データを扱う上で大きな成功を収めた。 しかし、深いGCNが過スムージングな問題に悩まされることはよく知られており、ノード表現はより多くの層を積み重ねるにつれて区別できない傾向にある。 広範に研究が進められているが、深いGCNの表現性と訓練性を研究するための理論的分析はほとんど行われていない。 本研究では、表現力と訓練能力の分析に対応する、無限大のGCNのガウスプロセスカーネル(GPK)とグラフニューラルタンジェントカーネル(GNTK)をそれぞれ検討することにより、これらの特性を実証する。 まず,GPKに平均場理論を適用することにより,指数関数的に崩壊する無限大GCNの表現性を証明する。 また,大深度でのgntkの漸近的挙動を定式化し,指数関数的に広いgcnと深いgcnの学習能力の低下を明らかにした。 さらに, 残差接続集合解析のための理論的枠組みを拡張した。 これらの手法は指数崩壊を軽度に緩和できるが、根本的には克服できなかった。 最後に、この研究のすべての理論結果が、様々なグラフ構造化データセット上で実験的に裏付けられている。

関連論文リスト

• Residual connections provably mitigate oversmoothing in graph neural networks [33.548465692402765]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データの処理と表現において、目覚ましい成功を収めた。 しかし、"oversmoothing"として知られる重要な課題が続き、表現的特徴が深いGNNではほとんど区別できないようになる。 本研究では,GNNの残差と非残差を考慮した過平滑化速度を解析する。
  論文  参考訳（メタデータ） (2025-01-01T07:35:36Z)
• Spiking Graph Neural Network on Riemannian Manifolds [51.15400848660023]
  グラフニューラルネットワーク(GNN)は、グラフの学習において支配的なソリューションとなっている。 既存のスパイク GNN はユークリッド空間のグラフを考慮し、構造幾何学を無視している。 マニフォールド値スパイキングGNN(MSG)を提案する。 MSGは従来のGNNよりも優れた性能とエネルギー効率を実現している。
  論文  参考訳（メタデータ） (2024-10-23T15:09:02Z)
• Bridging Smoothness and Approximation: Theoretical Insights into Over-Smoothing in Graph Neural Networks [12.001676605529626]
  グラフ上で定義される関数の近似理論について検討する。 グラフ畳み込みネットワーク(GCN)を用いて,対象関数に対する近似の下位境界を評価する枠組みを確立する。 出力の高周波エネルギーがGCNの過度な平滑化の指標である崩壊する様子を示す。
  論文  参考訳（メタデータ） (2024-07-01T13:35:53Z)
• A Manifold Perspective on the Statistical Generalization of Graph Neural Networks [84.01980526069075]
  我々は、スペクトル領域の多様体からサンプリングされたグラフ上のGNNの統計的一般化理論を確立するために多様体の視点を取る。 我々はGNNの一般化境界が対数スケールのグラフのサイズとともに線形に減少し、フィルタ関数のスペクトル連続定数とともに線形的に増加することを証明した。
  論文  参考訳（メタデータ） (2024-06-07T19:25:02Z)
• Graph Neural Networks Do Not Always Oversmooth [46.57665708260211]
  グラフ畳み込みネットワーク (GCN) における過剰スムーシングを, 無限に多くの隠れた特徴の極限におけるガウス過程 (GP) の等価性を用いて検討する。 ネットワークの初期重みが十分に大きな場合、GCNは過度に過度に変化せず、ノード特徴は大きな深さでも情報的のままである。
  論文  参考訳（メタデータ） (2024-06-04T12:47:13Z)
• Generalization Guarantee of Training Graph Convolutional Networks with Graph Topology Sampling [83.77955213766896]
  グラフ畳み込みネットワーク(GCN)は近年,グラフ構造化データの学習において大きな成功を収めている。 スケーラビリティ問題に対処するため、Gsの学習におけるメモリと計算コストを削減するため、グラフトポロジサンプリングが提案されている。 本稿では,3層GCNのトレーニング(最大)におけるグラフトポロジサンプリングの最初の理論的正当性について述べる。
  論文  参考訳（メタデータ） (2022-07-07T21:25:55Z)
• Node Feature Kernels Increase Graph Convolutional Network Robustness [19.076912727990326]
  グラフ畳み込みネットワーク(GCN)の入力の摂動に対する堅牢性は、ますます重要になっているトピックになりつつある。 本稿では,ランダム行列理論解析が可能である。 グラフ構造の隣接行列にノード特徴カーネルを追加することで、GCNにおけるメッセージパッシングステップの強化がこの問題を解決することが観察された。
  論文  参考訳（メタデータ） (2021-09-04T04:20:45Z)
• Towards Deeper Graph Neural Networks [63.46470695525957]
  グラフ畳み込みは近傍の集約を行い、最も重要なグラフ操作の1つである。 いくつかの最近の研究で、この性能劣化は過度に滑らかな問題に起因している。 本研究では,大きな受容領域からの情報を適応的に組み込むディープ適応グラフニューラルネットワーク(DAGNN)を提案する。
  論文  参考訳（メタデータ） (2020-07-18T01:11:14Z)
• DeeperGCN: All You Need to Train Deeper GCNs [66.64739331859226]
  グラフ畳み込みネットワーク(GCN)はグラフ上での表現学習の力で注目されている。 非常に深いレイヤを積み重ねることのできる畳み込みニューラルネットワーク(CNN)とは異なり、GCNはより深く進むと、勾配の消失、過度なスムース化、過度に適合する問題に悩まされる。 本稿では,非常に深いGCNを正常かつ確実に訓練できるDeeperGCNを提案する。
  論文  参考訳（メタデータ） (2020-06-13T23:00:22Z)
• Infinitely Wide Graph Convolutional Networks: Semi-supervised Learning via Gaussian Processes [144.6048446370369]
  グラフ畳み込みニューラルネットワーク(GCN)は近年,グラフに基づく半教師付き半教師付き分類において有望な結果を示した。 グラフに基づく半教師付き学習のためのGCN(GPGC)を用いたGP回帰モデルを提案する。 GPGCを評価するための広範囲な実験を行い、他の最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-02-26T10:02:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。