論文の概要: Graph Neural Networks Do Not Always Oversmooth

• arxiv url: http://arxiv.org/abs/2406.02269v1
• Date: Tue, 4 Jun 2024 12:47:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-05 16:20:58.041846
• Title: Graph Neural Networks Do Not Always Oversmooth
• Title（参考訳）: グラフニューラルネットワークは必ずしも過度に動作しない
• Authors: Bastian Epping, Alexandre René, Moritz Helias, Michael T. Schaub,
• Abstract要約: グラフ畳み込みネットワーク (GCN) における過剰スムーシングを, 無限に多くの隠れた特徴の極限におけるガウス過程 (GP) の等価性を用いて検討する。 ネットワークの初期重みが十分に大きな場合、GCNは過度に過度に動き、ノード特徴は大きな深さでも情報的であり続ける。
• 参考スコア（独自算出の注目度）: 46.57665708260211
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graph neural networks (GNNs) have emerged as powerful tools for processing relational data in applications. However, GNNs suffer from the problem of oversmoothing, the property that the features of all nodes exponentially converge to the same vector over layers, prohibiting the design of deep GNNs. In this work we study oversmoothing in graph convolutional networks (GCNs) by using their Gaussian process (GP) equivalence in the limit of infinitely many hidden features. By generalizing methods from conventional deep neural networks (DNNs), we can describe the distribution of features at the output layer of deep GCNs in terms of a GP: as expected, we find that typical parameter choices from the literature lead to oversmoothing. The theory, however, allows us to identify a new, nonoversmoothing phase: if the initial weights of the network have sufficiently large variance, GCNs do not oversmooth, and node features remain informative even at large depth. We demonstrate the validity of this prediction in finite-size GCNs by training a linear classifier on their output. Moreover, using the linearization of the GCN GP, we generalize the concept of propagation depth of information from DNNs to GCNs. This propagation depth diverges at the transition between the oversmoothing and non-oversmoothing phase. We test the predictions of our approach and find good agreement with finite-size GCNs. Initializing GCNs near the transition to the non-oversmoothing phase, we obtain networks which are both deep and expressive.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、アプリケーションでリレーショナルデータを処理するための強力なツールとして登場した。 しかし、GNNは、すべてのノードの特徴が層上の同じベクトルに指数関数的に収束する性質である過密化の問題に悩まされ、深いGNNの設計を禁止している。 本研究では, グラフ畳み込みネットワーク (GCN) における過剰なスムーシングについて, 無限に多くの隠れた特徴の極限におけるガウス過程 (GP) の等価性を用いて検討する。 従来のディープニューラルネットワーク(DNN)の手法を一般化することにより、GPの観点から、ディープGCNの出力層における特徴の分布を記述することができる。 ネットワークの初期重みが十分に大きな場合、GCNは過度に過度に動き、ノード特徴は大きな深さでも情報的であり続ける。 有限サイズGCNにおけるこの予測の有効性を線形分類器の学習により示す。 さらに、GCN GPの線形化を用いて、DNNからGCNへの情報の伝播深さの概念を一般化する。 この伝播深度は、過スムージングと非過スムージング相の遷移で分岐する。 提案手法の予測を検証し, 有限サイズGCNとの良好な一致を求める。 また,GCNを非正規化相への移行付近で初期化することにより,深層かつ表現力のあるネットワークが得られる。

関連論文リスト

• Spiking Graph Neural Network on Riemannian Manifolds [51.15400848660023]
  グラフニューラルネットワーク(GNN)は、グラフの学習において支配的なソリューションとなっている。 既存のスパイク GNN はユークリッド空間のグラフを考慮し、構造幾何学を無視している。 マニフォールド値スパイキングGNN(MSG)を提案する。 MSGは従来のGNNよりも優れた性能とエネルギー効率を実現している。
  論文  参考訳（メタデータ） (2024-10-23T15:09:02Z)
• Superiority of GNN over NN in generalizing bandlimited functions [6.3151583550712065]
  グラフニューラルネットワーク(GNN)は、さまざまなアプリケーションにまたがってグラフベースの情報を処理するための強力なリソースとして登場した。 本研究では,これらの分類におけるGNNの習熟度について検討する。 以上の結果から,GNNを用いた帯域制限関数を$varepsilon$-errorマージン内で一般化する上で,高い効率性を示した。
  論文  参考訳（メタデータ） (2022-06-13T05:15:12Z)
• New Insights into Graph Convolutional Networks using Neural Tangent Kernels [8.824340350342512]
  本稿では,グラフに関する半教師付き学習に着目し,その観察をNutral Tangent Kernels (NTK) のレンズを通して説明する。 我々は、無限に広いGCNに対応するNTK(スキップ接続なしで)を導出する。 得られたNTKを用いて、適切な正規化を行うと、ネットワーク深さがGCNの性能を劇的に低下させるとは限らないことを識別する。
  論文  参考訳（メタデータ） (2021-10-08T15:36:52Z)
• Enhance Information Propagation for Graph Neural Network by Heterogeneous Aggregations [7.3136594018091134]
  グラフニューラルネットワークは、ディープラーニングの成功の継続として出現している。 ヘテロジニアスアグリゲーションを組み合わせることで,GNN層間の情報伝達を促進することを提案する。 我々は,多くのグラフ分類ベンチマークにおいて,HAG-Netの有効性を実証的に検証した。
  論文  参考訳（メタデータ） (2021-02-08T08:57:56Z)
• Overcoming Catastrophic Forgetting in Graph Neural Networks [50.900153089330175]
  破滅的な忘れは、ニューラルネットワークが新しいタスクを学ぶ前に学んだ知識を「忘れる」傾向を指します。 本稿では,この問題を克服し,グラフニューラルネットワーク(GNN)における継続学習を強化するための新しいスキームを提案する。 私たちのアプローチの中心には、トポロジ認識重量保存(TWP)と呼ばれる汎用モジュールがあります。
  論文  参考訳（メタデータ） (2020-12-10T22:30:25Z)
• A Unified View on Graph Neural Networks as Graph Signal Denoising [49.980783124401555]
  グラフニューラルネットワーク(GNN)は,グラフ構造化データの学習表現において顕著に普及している。 本研究では,代表的GNNモデル群における集約過程を,グラフ記述問題の解法とみなすことができることを数学的に確立する。 UGNNから派生した新しいGNNモデルADA-UGNNをインスタンス化し、ノード間の適応的滑らかさでグラフを処理する。
  論文  参考訳（メタデータ） (2020-10-05T04:57:18Z)
• DeeperGCN: All You Need to Train Deeper GCNs [66.64739331859226]
  グラフ畳み込みネットワーク(GCN)はグラフ上での表現学習の力で注目されている。 非常に深いレイヤを積み重ねることのできる畳み込みニューラルネットワーク(CNN)とは異なり、GCNはより深く進むと、勾配の消失、過度なスムース化、過度に適合する問題に悩まされる。 本稿では,非常に深いGCNを正常かつ確実に訓練できるDeeperGCNを提案する。
  論文  参考訳（メタデータ） (2020-06-13T23:00:22Z)
• Predicting the outputs of finite deep neural networks trained with noisy gradients [1.1470070927586014]
  広深部ニューラルネットワーク(DNN)をガウス過程(GP)として近似して研究する最近の研究のシリーズ 本稿では、雑音、重み減衰、有限幅を含むDNNトレーニングプロトコルについて考察する。 その後、この非ガウス過程を分析するために解析的枠組みが導入され、GPからの偏差は有限幅で制御される。
  論文  参考訳（メタデータ） (2020-04-02T18:00:01Z)
• Infinitely Wide Graph Convolutional Networks: Semi-supervised Learning via Gaussian Processes [144.6048446370369]
  グラフ畳み込みニューラルネットワーク(GCN)は近年,グラフに基づく半教師付き半教師付き分類において有望な結果を示した。 グラフに基づく半教師付き学習のためのGCN(GPGC)を用いたGP回帰モデルを提案する。 GPGCを評価するための広範囲な実験を行い、他の最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-02-26T10:02:32Z)
• Generalization and Representational Limits of Graph Neural Networks [46.20253808402385]
  ローカル情報に完全に依存するグラフニューラルネットワーク(GNN)では,いくつかの重要なグラフ特性を計算できないことを示す。 メッセージパッシングGNNに対する最初のデータ依存一般化境界を提供する。 私たちのバウンダリは、既存のVC次元ベースのGNN保証よりもはるかに厳格で、リカレントニューラルネットワークのRademacherバウンダリと同等です。
  論文  参考訳（メタデータ） (2020-02-14T18:10:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。