論文の概要: Wide Graph Neural Networks: Aggregation Provably Leads to Exponentially
Trainability Loss
- arxiv url: http://arxiv.org/abs/2103.03113v1
- Date: Wed, 3 Mar 2021 11:06:12 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-05 15:08:54.924788
- Title: Wide Graph Neural Networks: Aggregation Provably Leads to Exponentially
Trainability Loss
- Title(参考訳): 広義のグラフニューラルネットワーク: 集約はおそらく、指数的トレーサビリティ損失につながる
- Authors: Wei Huang, Yayong Li, Weitao Du, Richard Yi Da Xu, Jie Yin, and Ling
Chen
- Abstract要約: グラフ畳み込みネットワーク(GCN)とその変種は、グラフ構造化データを扱う上で大きな成功を収めた。
深いGCNが過スムージング問題に苦しむことはよく知られています。
深部GCNの表現性と訓練性を研究するための理論的分析はほとんど行われていない。
- 参考スコア(独自算出の注目度): 17.39060566854841
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph convolutional networks (GCNs) and their variants have achieved great
success in dealing with graph-structured data. However, it is well known that
deep GCNs will suffer from over-smoothing problem, where node representations
tend to be indistinguishable as we stack up more layers. Although extensive
research has confirmed this prevailing understanding, few theoretical analyses
have been conducted to study the expressivity and trainability of deep GCNs. In
this work, we demonstrate these characterizations by studying the Gaussian
Process Kernel (GPK) and Graph Neural Tangent Kernel (GNTK) of an
infinitely-wide GCN, corresponding to the analysis on expressivity and
trainability, respectively. We first prove the expressivity of infinitely-wide
GCNs decaying at an exponential rate by applying the mean-field theory on GPK.
Besides, we formulate the asymptotic behaviors of GNTK in the large depth,
which enables us to reveal the dropping trainability of wide and deep GCNs at
an exponential rate. Additionally, we extend our theoretical framework to
analyze residual connection-resemble techniques. We found that these techniques
can mildly mitigate exponential decay, but they failed to overcome it
fundamentally. Finally, all theoretical results in this work are corroborated
experimentally on a variety of graph-structured datasets.
- Abstract(参考訳): グラフ畳み込みネットワーク(GCN)とその変種は、グラフ構造化データを扱う上で大きな成功を収めた。
しかし、深いGCNが過スムージングな問題に悩まされることはよく知られており、ノード表現はより多くの層を積み重ねるにつれて区別できない傾向にある。
広範に研究が進められているが、深いGCNの表現性と訓練性を研究するための理論的分析はほとんど行われていない。
本研究では、表現力と訓練能力の分析に対応する、無限大のGCNのガウスプロセスカーネル(GPK)とグラフニューラルタンジェントカーネル(GNTK)をそれぞれ検討することにより、これらの特性を実証する。
まず,GPKに平均場理論を適用することにより,指数関数的に崩壊する無限大GCNの表現性を証明する。
また,大深度でのgntkの漸近的挙動を定式化し,指数関数的に広いgcnと深いgcnの学習能力の低下を明らかにした。
さらに, 残差接続集合解析のための理論的枠組みを拡張した。
これらの手法は指数崩壊を軽度に緩和できるが、根本的には克服できなかった。
最後に、この研究のすべての理論結果が、様々なグラフ構造化データセット上で実験的に裏付けられている。
関連論文リスト
- Graph Neural Tangent Kernel: Convergence on Large Graphs [7.624781434274796]
グラフニューラルネットワーク(GNN)は、グラフ機械学習タスクにおいて顕著なパフォーマンスを達成する。
グラフニューラルカーネル(GNTK)とグラフトンを用いた大規模グラフGNNのトレーニングダイナミクスについて検討する。
論文 参考訳(メタデータ) (2023-01-25T19:52:58Z) - Generalization Guarantee of Training Graph Convolutional Networks with
Graph Topology Sampling [83.77955213766896]
グラフ畳み込みネットワーク(GCN)は近年,グラフ構造化データの学習において大きな成功を収めている。
スケーラビリティ問題に対処するため、Gsの学習におけるメモリと計算コストを削減するため、グラフトポロジサンプリングが提案されている。
本稿では,3層GCNのトレーニング(最大)におけるグラフトポロジサンプリングの最初の理論的正当性について述べる。
論文 参考訳(メタデータ) (2022-07-07T21:25:55Z) - Node Feature Kernels Increase Graph Convolutional Network Robustness [19.076912727990326]
グラフ畳み込みネットワーク(GCN)の入力の摂動に対する堅牢性は、ますます重要になっているトピックになりつつある。
本稿では,ランダム行列理論解析が可能である。
グラフ構造の隣接行列にノード特徴カーネルを追加することで、GCNにおけるメッセージパッシングステップの強化がこの問題を解決することが観察された。
論文 参考訳(メタデータ) (2021-09-04T04:20:45Z) - A PAC-Bayesian Approach to Generalization Bounds for Graph Neural
Networks [99.46182575751271]
グラフニューラルネットワーク(GNN)の2つの一次クラスに対する一般化境界を導出する。
その結果,重みの最大ノード次数とスペクトルノルムが両モデルの一般化境界を規定することが明らかとなった。
論文 参考訳(メタデータ) (2020-12-14T16:41:23Z) - Revisiting Graph Convolutional Network on Semi-Supervised Node
Classification from an Optimization Perspective [10.178145000390671]
グラフ畳み込みネットワーク(GCN)は、様々なグラフベースのタスクにおいて有望な性能を達成した。
しかし、より多くのレイヤを積み重ねる際には、過剰なスムーシングに悩まされる。
本稿では,この観測を定量的に研究し,より深いGCNに対する新たな洞察を開拓する。
論文 参考訳(メタデータ) (2020-09-24T03:36:43Z) - Towards Deeper Graph Neural Networks [63.46470695525957]
グラフ畳み込みは近傍の集約を行い、最も重要なグラフ操作の1つである。
いくつかの最近の研究で、この性能劣化は過度に滑らかな問題に起因している。
本研究では,大きな受容領域からの情報を適応的に組み込むディープ適応グラフニューラルネットワーク(DAGNN)を提案する。
論文 参考訳(メタデータ) (2020-07-18T01:11:14Z) - Simple and Deep Graph Convolutional Networks [63.76221532439285]
グラフ畳み込みネットワーク(GCN)は、グラフ構造化データに対する強力なディープラーニングアプローチである。
その成功にもかかわらず、現在のGCNモデルは、エムの過度に滑らかな問題のため、ほとんどが浅くなっている。
本稿では,2つの単純かつ効果的な手法を用いて,バニラGCNモデルを拡張したGCNIIを提案する。
論文 参考訳(メタデータ) (2020-07-04T16:18:06Z) - DeeperGCN: All You Need to Train Deeper GCNs [66.64739331859226]
グラフ畳み込みネットワーク(GCN)はグラフ上での表現学習の力で注目されている。
非常に深いレイヤを積み重ねることのできる畳み込みニューラルネットワーク(CNN)とは異なり、GCNはより深く進むと、勾配の消失、過度なスムース化、過度に適合する問題に悩まされる。
本稿では,非常に深いGCNを正常かつ確実に訓練できるDeeperGCNを提案する。
論文 参考訳(メタデータ) (2020-06-13T23:00:22Z) - Infinitely Wide Graph Convolutional Networks: Semi-supervised Learning
via Gaussian Processes [144.6048446370369]
グラフ畳み込みニューラルネットワーク(GCN)は近年,グラフに基づく半教師付き半教師付き分類において有望な結果を示した。
グラフに基づく半教師付き学習のためのGCN(GPGC)を用いたGP回帰モデルを提案する。
GPGCを評価するための広範囲な実験を行い、他の最先端手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2020-02-26T10:02:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。