論文の概要: Graph Neural Tangent Kernel: Convergence on Large Graphs
- arxiv url: http://arxiv.org/abs/2301.10808v1
- Date: Wed, 25 Jan 2023 19:52:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-27 15:16:27.882101
- Title: Graph Neural Tangent Kernel: Convergence on Large Graphs
- Title（参考訳）: グラフ神経接核:大規模グラフ上の収束
- Authors: Sanjukta Krishnagopal, Luana Ruiz
- Abstract要約: グラフニューラルネットワーク(GNN)は、グラフ機械学習タスクにおいて顕著なパフォーマンスを達成する。
しかし、学習のダイナミクスが十分に理解されていない大規模なグラフデータでトレーニングすることは難しい。
グラフニューラルカーネル(GNTK)とグラフトンを用いた大規模グラフGNNのトレーニングダイナミクスについて検討する。
- 参考スコア（独自算出の注目度）: 7.624781434274796
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Graph neural networks (GNNs) achieve remarkable performance in graph machine
learning tasks but can be hard to train on large-graph data, where their
learning dynamics are not well understood. We investigate the training dynamics
of large-graph GNNs using graph neural tangent kernels (GNTKs) and graphons. In
the limit of large width, optimization of an overparametrized NN is equivalent
to kernel regression on the NTK. Here, we investigate how the GNTK evolves as
another independent dimension is varied: the graph size. We use graphons to
define limit objects -- graphon NNs for GNNs, and graphon NTKs for GNTKs, and
prove that, on a sequence of growing graphs, the GNTKs converge to the graphon
NTK. We further prove that the eigenspaces of the GNTK, which are related to
the problem learning directions and associated learning speeds, converge to the
spectrum of the GNTK. This implies that in the large-graph limit, the GNTK
fitted on a graph of moderate size can be used to solve the same task on the
large-graph and infer the learning dynamics of the large-graph GNN. These
results are verified empirically on node regression and node classification
tasks.
- Abstract（参考訳）: グラフニューラルネットワーク(gnns)は、グラフ機械学習タスクにおいて顕著な性能を発揮するが、その学習ダイナミクスが十分に理解されていない大規模グラフデータのトレーニングは困難である。
グラフニューラルタンジェントカーネル(GNTK)とグラフトンを用いた大規模グラフGNNのトレーニングダイナミクスについて検討する。
大きな幅の限界において、過度にパラメータ化されたNNの最適化はNTK上のカーネル回帰と等価である。
ここでは、GNTKが別の独立次元としてどのように進化するかを、グラフサイズとして検討する。
我々は、GNN のグラフン NN と GNTK のグラフン NTK を定義し、成長するグラフの列上で、GNTK がグラフン NTK に収束することを証明する。
さらに、GNTKの固有空間は、問題学習方向と関連する学習速度に関連するもので、GNTKのスペクトルに収束することを示す。
これは、大グラフ極限において、中程度の大きさのグラフに装着されたGNTKは、大グラフ上の同じタスクを解き、大グラフ GNN の学習力学を推測することができることを意味する。
これらの結果はノード回帰およびノード分類タスクで実証的に検証される。
関連論文リスト
- Scalable Implicit Graphon Learning [25.015678499211404]
本稿では、暗黙的ニューラルネットワーク(INR)とグラフニューラルネットワーク(GNN)を組み合わせて、観測されたグラフからグラフを推定するスケーラブルな手法を提案する。
合成グラフと実世界のグラフでSIGLを評価し,既存の手法より優れ,大規模グラフに効果的にスケール可能であることを示した。
論文 参考訳（メタデータ） (2024-10-22T22:44:24Z) - A Manifold Perspective on the Statistical Generalization of Graph Neural Networks [84.01980526069075]
我々は、スペクトル領域の多様体からサンプリングされたグラフ上のGNNの統計的一般化理論を確立するために多様体の視点を取る。
我々はGNNの一般化境界が対数スケールのグラフのサイズとともに線形に減少し、フィルタ関数のスペクトル連続定数とともに線形的に増加することを証明した。
論文 参考訳（メタデータ） (2024-06-07T19:25:02Z) - Spectral Greedy Coresets for Graph Neural Networks [61.24300262316091]
ノード分類タスクにおける大規模グラフの利用は、グラフニューラルネットワーク(GNN)の現実的な応用を妨げる
本稿では,GNNのグラフコアセットについて検討し,スペクトル埋め込みに基づくエゴグラフの選択により相互依存の問題を回避する。
我々のスペクトルグレディグラフコアセット(SGGC)は、数百万のノードを持つグラフにスケールし、モデル事前学習の必要性を排除し、低ホモフィリーグラフに適用する。
論文 参考訳（メタデータ） (2024-05-27T17:52:12Z) - Training Graph Neural Networks on Growing Stochastic Graphs [114.75710379125412]
グラフニューラルネットワーク(GNN)は、ネットワーク化されたデータの意味のあるパターンを活用するために、グラフ畳み込みに依存している。
我々は,成長するグラフ列の極限オブジェクトであるグラフオンを利用して,非常に大きなグラフ上のGNNを学習することを提案する。
論文 参考訳（メタデータ） (2022-10-27T16:00:45Z) - Transferability Properties of Graph Neural Networks [125.71771240180654]
グラフニューラルネットワーク(GNN)は、中規模グラフでサポートされているデータから表現を学ぶのに成功している。
適度な大きさのグラフ上でGNNを訓練し、それらを大規模グラフに転送する問題について検討する。
その結果, (i) グラフサイズに応じて転送誤差が減少し, (ii) グラフフィルタは非線型性の散乱挙動によってGNNにおいて緩和されるような転送可能性-識別可能性トレードオフを有することがわかった。
論文 参考訳（メタデータ） (2021-12-09T00:08:09Z) - Adaptive Kernel Graph Neural Network [21.863238974404474]
グラフニューラルネットワーク(GNN)は,グラフ構造化データの表現学習において大きな成功を収めている。
本稿では,AKGNN(Adaptive Kernel Graph Neural Network)という新しいフレームワークを提案する。
AKGNNは、最初の試みで最適なグラフカーネルに統一的に適応することを学ぶ。
評価されたベンチマークデータセットで実験を行い、提案したAKGNNの優れた性能を示す有望な結果を得た。
論文 参考訳（メタデータ） (2021-12-08T20:23:58Z) - Increase and Conquer: Training Graph Neural Networks on Growing Graphs [116.03137405192356]
本稿では,このグラフからBernoulliをサンプリングしたグラフ上でGNNをトレーニングすることで,WNN(Graphon Neural Network)を学習する問題を考察する。
これらの結果から着想を得た大規模グラフ上でGNNを学習するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-06-07T15:05:59Z) - Graph and graphon neural network stability [122.06927400759021]
グラフネットワーク(GNN)は、ネットワークデータの有意義な表現を生成するためにグラフ構造の知識に依存する学習アーキテクチャである。
我々は,GNNの安定性を,グラファイトと呼ばれるカーネルオブジェクトを用いて解析する。
論文 参考訳（メタデータ） (2020-10-23T16:55:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。