論文の概要: Graph Neural Tangent Kernel: Convergence on Large Graphs
- arxiv url: http://arxiv.org/abs/2301.10808v1
- Date: Wed, 25 Jan 2023 19:52:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-27 15:16:27.882101
- Title: Graph Neural Tangent Kernel: Convergence on Large Graphs
- Title(参考訳): グラフ神経接核:大規模グラフ上の収束
- Authors: Sanjukta Krishnagopal, Luana Ruiz
- Abstract要約: グラフニューラルネットワーク(GNN)は、グラフ機械学習タスクにおいて顕著なパフォーマンスを達成する。
しかし、学習のダイナミクスが十分に理解されていない大規模なグラフデータでトレーニングすることは難しい。
グラフニューラルカーネル(GNTK)とグラフトンを用いた大規模グラフGNNのトレーニングダイナミクスについて検討する。
- 参考スコア(独自算出の注目度): 7.624781434274796
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Graph neural networks (GNNs) achieve remarkable performance in graph machine
learning tasks but can be hard to train on large-graph data, where their
learning dynamics are not well understood. We investigate the training dynamics
of large-graph GNNs using graph neural tangent kernels (GNTKs) and graphons. In
the limit of large width, optimization of an overparametrized NN is equivalent
to kernel regression on the NTK. Here, we investigate how the GNTK evolves as
another independent dimension is varied: the graph size. We use graphons to
define limit objects -- graphon NNs for GNNs, and graphon NTKs for GNTKs, and
prove that, on a sequence of growing graphs, the GNTKs converge to the graphon
NTK. We further prove that the eigenspaces of the GNTK, which are related to
the problem learning directions and associated learning speeds, converge to the
spectrum of the GNTK. This implies that in the large-graph limit, the GNTK
fitted on a graph of moderate size can be used to solve the same task on the
large-graph and infer the learning dynamics of the large-graph GNN. These
results are verified empirically on node regression and node classification
tasks.
- Abstract(参考訳): グラフニューラルネットワーク(gnns)は、グラフ機械学習タスクにおいて顕著な性能を発揮するが、その学習ダイナミクスが十分に理解されていない大規模グラフデータのトレーニングは困難である。
グラフニューラルタンジェントカーネル(GNTK)とグラフトンを用いた大規模グラフGNNのトレーニングダイナミクスについて検討する。
大きな幅の限界において、過度にパラメータ化されたNNの最適化はNTK上のカーネル回帰と等価である。
ここでは、GNTKが別の独立次元としてどのように進化するかを、グラフサイズとして検討する。
我々は、GNN のグラフン NN と GNTK のグラフン NTK を定義し、成長するグラフの列上で、GNTK がグラフン NTK に収束することを証明する。
さらに、GNTKの固有空間は、問題学習方向と関連する学習速度に関連するもので、GNTKのスペクトルに収束することを示す。
これは、大グラフ極限において、中程度の大きさのグラフに装着されたGNTKは、大グラフ上の同じタスクを解き、大グラフ GNN の学習力学を推測することができることを意味する。
これらの結果はノード回帰およびノード分類タスクで実証的に検証される。
関連論文リスト
- Training Graph Neural Networks on Growing Stochastic Graphs [114.75710379125412]
グラフニューラルネットワーク(GNN)は、ネットワーク化されたデータの意味のあるパターンを活用するために、グラフ畳み込みに依存している。
我々は,成長するグラフ列の極限オブジェクトであるグラフオンを利用して,非常に大きなグラフ上のGNNを学習することを提案する。
論文 参考訳(メタデータ) (2022-10-27T16:00:45Z) - Transferability Properties of Graph Neural Networks [125.71771240180654]
グラフニューラルネットワーク(GNN)は、中規模グラフでサポートされているデータから表現を学ぶのに成功している。
適度な大きさのグラフ上でGNNを訓練し、それらを大規模グラフに転送する問題について検討する。
その結果, (i) グラフサイズに応じて転送誤差が減少し, (ii) グラフフィルタは非線型性の散乱挙動によってGNNにおいて緩和されるような転送可能性-識別可能性トレードオフを有することがわかった。
論文 参考訳(メタデータ) (2021-12-09T00:08:09Z) - Adaptive Kernel Graph Neural Network [21.863238974404474]
グラフニューラルネットワーク(GNN)は,グラフ構造化データの表現学習において大きな成功を収めている。
本稿では,AKGNN(Adaptive Kernel Graph Neural Network)という新しいフレームワークを提案する。
AKGNNは、最初の試みで最適なグラフカーネルに統一的に適応することを学ぶ。
評価されたベンチマークデータセットで実験を行い、提案したAKGNNの優れた性能を示す有望な結果を得た。
論文 参考訳(メタデータ) (2021-12-08T20:23:58Z) - Increase and Conquer: Training Graph Neural Networks on Growing Graphs [116.03137405192356]
本稿では,このグラフからBernoulliをサンプリングしたグラフ上でGNNをトレーニングすることで,WNN(Graphon Neural Network)を学習する問題を考察する。
これらの結果から着想を得た大規模グラフ上でGNNを学習するアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-06-07T15:05:59Z) - A Unified Lottery Ticket Hypothesis for Graph Neural Networks [82.31087406264437]
本稿では,グラフ隣接行列とモデルの重み付けを同時に行う統一GNNスペーシフィケーション(UGS)フレームワークを提案する。
グラフ宝くじ(GLT)をコアサブデータセットとスパースサブネットワークのペアとして定義することにより、人気のある宝くじチケット仮説を初めてGNNsにさらに一般化します。
論文 参考訳(メタデータ) (2021-02-12T21:52:43Z) - Graph and graphon neural network stability [122.06927400759021]
グラフネットワーク(GNN)は、ネットワークデータの有意義な表現を生成するためにグラフ構造の知識に依存する学習アーキテクチャである。
我々は,GNNの安定性を,グラファイトと呼ばれるカーネルオブジェクトを用いて解析する。
論文 参考訳(メタデータ) (2020-10-23T16:55:56Z) - Implicit Graph Neural Networks [46.0589136729616]
Indicit Graph Neural Networks (IGNN) と呼ばれるグラフ学習フレームワークを提案する。
IGNNは一貫して長距離依存を捉え、最先端のGNNモデルより優れている。
論文 参考訳(メタデータ) (2020-09-14T06:04:55Z) - Eigen-GNN: A Graph Structure Preserving Plug-in for GNNs [95.63153473559865]
グラフニューラルネットワーク(GNN)は、グラフ上の新たな機械学習モデルである。
既存のGNNモデルの多くは浅く、本質的に機能中心である。
我々は,既存の浅いGNNがグラフ構造をよく保存できないことを経験的かつ解析的に示す。
本稿では,グラフ構造保存におけるGNNの能力を高めるプラグインモジュールであるEigen-GNNを提案する。
論文 参考訳(メタデータ) (2020-06-08T02:47:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。