論文の概要: Graph Neural Tangent Kernel: Convergence on Large Graphs
- arxiv url: http://arxiv.org/abs/2301.10808v2
- Date: Wed, 31 May 2023 19:27:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-03 00:42:24.712612
- Title: Graph Neural Tangent Kernel: Convergence on Large Graphs
- Title（参考訳）: グラフ神経接核:大規模グラフ上の収束
- Authors: Sanjukta Krishnagopal, Luana Ruiz
- Abstract要約: グラフニューラルネットワーク(GNN)は、グラフ機械学習タスクにおいて顕著なパフォーマンスを達成する。
グラフニューラルカーネル(GNTK)とグラフトンを用いた大規模グラフGNNのトレーニングダイナミクスについて検討する。
- 参考スコア（独自算出の注目度）: 7.624781434274796
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Graph neural networks (GNNs) achieve remarkable performance in graph machine
learning tasks but can be hard to train on large-graph data, where their
learning dynamics are not well understood. We investigate the training dynamics
of large-graph GNNs using graph neural tangent kernels (GNTKs) and graphons. In
the limit of large width, optimization of an overparametrized NN is equivalent
to kernel regression on the NTK. Here, we investigate how the GNTK evolves as
another independent dimension is varied: the graph size. We use graphons to
define limit objects -- graphon NNs for GNNs, and graphon NTKs for GNTKs -- ,
and prove that, on a sequence of graphs, the GNTKs converge to the graphon NTK.
We further prove that the spectrum of the GNTK, which is related to the
directions of fastest learning which becomes relevant during early stopping,
converges to the spectrum of the graphon NTK. This implies that in the
large-graph limit, the GNTK fitted on a graph of moderate size can be used to
solve the same task on the large graph, and to infer the learning dynamics of
the large-graph GNN. These results are verified empirically on node regression
and classification tasks.
- Abstract（参考訳）: グラフニューラルネットワーク(gnns)は、グラフ機械学習タスクにおいて顕著な性能を発揮するが、その学習ダイナミクスが十分に理解されていない大規模グラフデータのトレーニングは困難である。
グラフニューラルタンジェントカーネル(GNTK)とグラフトンを用いた大規模グラフGNNのトレーニングダイナミクスについて検討する。
大きな幅の限界において、過度にパラメータ化されたNNの最適化はNTK上のカーネル回帰と等価である。
ここでは、GNTKが別の独立次元としてどのように進化するかを、グラフサイズとして検討する。
我々は、GNNのリミットオブジェクト(Graphon NN)とGNTKのグラフンNTK(Graphon NTK)を定義し、グラフのシーケンス上で、GNTKがグラフンNTKに収束することを証明する。
さらに、GNTKのスペクトルは、早期停止時に関連性を持つ高速学習の方向と関連し、グラノンNTKのスペクトルに収束することを示す。
これは、大グラフ極限において、中程度の大きさのグラフに収まるGNTKは、大グラフ上の同じタスクを解き、大グラフGNNの学習力学を推測するために使用できることを意味する。
これらの結果はノード回帰と分類タスクで実証的に検証される。
関連論文リスト
- Spectral Greedy Coresets for Graph Neural Networks [61.24300262316091]
ノード分類タスクにおける大規模グラフの利用は、グラフニューラルネットワーク(GNN)の現実的な応用を妨げる
本稿では,GNNのグラフコアセットについて検討し,スペクトル埋め込みに基づくエゴグラフの選択により相互依存の問題を回避する。
我々のスペクトルグレディグラフコアセット(SGGC)は、数百万のノードを持つグラフにスケールし、モデル事前学習の必要性を排除し、低ホモフィリーグラフに適用する。
論文 参考訳（メタデータ） (2024-05-27T17:52:12Z) - Transferability of Graph Neural Networks using Graphon and Sampling Theories [0.0]
グラフニューラルネットワーク(GNN)は、さまざまなドメインでグラフベースの情報を処理するための強力なツールとなっている。
GNNの望ましい特性は転送可能性であり、トレーニングされたネットワークは、その正確性を再トレーニングすることなく、異なるグラフから情報を交換することができる。
我々は,2層グラファイトニューラルネットワーク(WNN)アーキテクチャを明示することにより,GNNへのグラファイトの適用に寄与する。
論文 参考訳（メタデータ） (2023-07-25T02:11:41Z) - Training Graph Neural Networks on Growing Stochastic Graphs [114.75710379125412]
グラフニューラルネットワーク(GNN)は、ネットワーク化されたデータの意味のあるパターンを活用するために、グラフ畳み込みに依存している。
我々は,成長するグラフ列の極限オブジェクトであるグラフオンを利用して,非常に大きなグラフ上のGNNを学習することを提案する。
論文 参考訳（メタデータ） (2022-10-27T16:00:45Z) - Transferability Properties of Graph Neural Networks [125.71771240180654]
グラフニューラルネットワーク(GNN)は、中規模グラフでサポートされているデータから表現を学ぶのに成功している。
適度な大きさのグラフ上でGNNを訓練し、それらを大規模グラフに転送する問題について検討する。
その結果, (i) グラフサイズに応じて転送誤差が減少し, (ii) グラフフィルタは非線型性の散乱挙動によってGNNにおいて緩和されるような転送可能性-識別可能性トレードオフを有することがわかった。
論文 参考訳（メタデータ） (2021-12-09T00:08:09Z) - Adaptive Kernel Graph Neural Network [21.863238974404474]
グラフニューラルネットワーク(GNN)は,グラフ構造化データの表現学習において大きな成功を収めている。
本稿では,AKGNN(Adaptive Kernel Graph Neural Network)という新しいフレームワークを提案する。
AKGNNは、最初の試みで最適なグラフカーネルに統一的に適応することを学ぶ。
評価されたベンチマークデータセットで実験を行い、提案したAKGNNの優れた性能を示す有望な結果を得た。
論文 参考訳（メタデータ） (2021-12-08T20:23:58Z) - Increase and Conquer: Training Graph Neural Networks on Growing Graphs [116.03137405192356]
本稿では,このグラフからBernoulliをサンプリングしたグラフ上でGNNをトレーニングすることで,WNN(Graphon Neural Network)を学習する問題を考察する。
これらの結果から着想を得た大規模グラフ上でGNNを学習するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-06-07T15:05:59Z) - Graph and graphon neural network stability [122.06927400759021]
グラフネットワーク(GNN)は、ネットワークデータの有意義な表現を生成するためにグラフ構造の知識に依存する学習アーキテクチャである。
我々は,GNNの安定性を,グラファイトと呼ばれるカーネルオブジェクトを用いて解析する。
論文 参考訳（メタデータ） (2020-10-23T16:55:56Z) - Eigen-GNN: A Graph Structure Preserving Plug-in for GNNs [95.63153473559865]
グラフニューラルネットワーク(GNN)は、グラフ上の新たな機械学習モデルである。
既存のGNNモデルの多くは浅く、本質的に機能中心である。
我々は,既存の浅いGNNがグラフ構造をよく保存できないことを経験的かつ解析的に示す。
本稿では,グラフ構造保存におけるGNNの能力を高めるプラグインモジュールであるEigen-GNNを提案する。
論文 参考訳（メタデータ） (2020-06-08T02:47:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。