論文の概要: Is Solving Graph Neural Tangent Kernel Equivalent to Training Graph Neural Network?

• arxiv url: http://arxiv.org/abs/2309.07452v1
• Date: Thu, 14 Sep 2023 06:24:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-15 15:58:02.553931
• Title: Is Solving Graph Neural Tangent Kernel Equivalent to Training Graph Neural Network?
• Title（参考訳）: グラフニューラルタンジェントカーネルはグラフニューラルネットのトレーニングに等価か?
• Authors: Lianke Qin, Zhao Song, Baocheng Sun
• Abstract要約: 理論的深層学習の傾向は、なぜニューラルタンジェントカーネル(NTK) [jgh18]を介してディープラーニングが機能するのかを理解することである。 GNTKは,多層ニューラルネットワークのトレーニングに勾配勾配を用いたカーネル手法である。 GNTKは各種バイオインフォマティクスデータセットのGNNと同様の精度が得られることを示す。
• 参考スコア（独自算出の注目度）: 9.599018775881275
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A rising trend in theoretical deep learning is to understand why deep learning works through Neural Tangent Kernel (NTK) [jgh18], a kernel method that is equivalent to using gradient descent to train a multi-layer infinitely-wide neural network. NTK is a major step forward in the theoretical deep learning because it allows researchers to use traditional mathematical tools to analyze properties of deep neural networks and to explain various neural network techniques from a theoretical view. A natural extension of NTK on graph learning is \textit{Graph Neural Tangent Kernel (GNTK)}, and researchers have already provide GNTK formulation for graph-level regression and show empirically that this kernel method can achieve similar accuracy as GNNs on various bioinformatics datasets [dhs+19]. The remaining question now is whether solving GNTK regression is equivalent to training an infinite-wide multi-layer GNN using gradient descent. In this paper, we provide three new theoretical results. First, we formally prove this equivalence for graph-level regression. Second, we present the first GNTK formulation for node-level regression. Finally, we prove the equivalence for node-level regression.
• Abstract（参考訳）: 理論的な深層学習の傾向は、ディープラーニングがなぜNTK(Neural Tangent Kernel)[jgh18]を介して動作するのかを理解することである。 NTKは、研究者が従来の数学的ツールを使ってディープニューラルネットワークの特性を分析し、理論的な観点から様々なニューラルネットワーク技術を説明することができるため、理論的深層学習における大きな一歩である。 グラフ学習におけるntkの自然な拡張は \textit{graph neural tangent kernel (gntk)} であり、研究者はすでにグラフレベルの回帰のためのgntkの定式化を提供しており、このカーネル手法が様々なバイオインフォマティクスデータセット[dhs+19]上でgnnと同様の精度を達成できることを実証的に示している。 現在、GNTK回帰の解法は、勾配勾配を用いた無限大多層GNNの訓練と等価である。 本稿では,3つの新しい理論結果を示す。 まず、グラフレベルの回帰に対するこの等価性を正式に証明する。 第2に,ノードレベルの回帰に対する最初のGNTK定式化を提案する。 最後に、ノードレベルの回帰の等価性を証明する。

関連論文リスト

• Novel Kernel Models and Exact Representor Theory for Neural Networks Beyond the Over-Parameterized Regime [52.00917519626559]
  本稿では、ニューラルネットワークの2つのモデルと、任意の幅、深さ、トポロジーのニューラルネットワークに適用可能なトレーニングについて述べる。 また、局所外在性神経核(LeNK)の観点から、非正規化勾配降下を伴う階層型ニューラルネットワークトレーニングのための正確な表現子理論を提示する。 この表現論は、ニューラルネットワークトレーニングにおける高次統計学の役割と、ニューラルネットワークのカーネルモデルにおけるカーネル進化の影響について洞察を与える。
  論文  参考訳（メタデータ） (2024-05-24T06:30:36Z)
• A Unified Kernel for Neural Network Learning [4.0759204898334715]
  本稿では、勾配降下を伴うニューラルネットワークの学習力学を特徴付けるUnified Neural Kernel(UNK)を提案する。 UNK は NNGP と NTK の両方の制限特性を維持し、有限学習ステップで NTK に似た振る舞いを示す。 また、UNKカーネルの均一な厳密性と学習収束性を理論的に特徴づける。
  論文  参考訳（メタデータ） (2024-03-26T07:55:45Z)
• Infinite Width Graph Neural Networks for Node Regression/ Classification [0.0]
  この研究は、グラフ構造化データ上の完全連結ディープニューラルネットワークの一般化であるグラフニューラルネットワークを分析する。
  論文  参考訳（メタデータ） (2023-10-12T10:01:39Z)
• Graph Neural Networks Provably Benefit from Structural Information: A Feature Learning Perspective [53.999128831324576]
  グラフニューラルネットワーク(GNN)は、グラフ表現学習の先駆けとなった。 本研究では,特徴学習理論の文脈におけるグラフ畳み込みの役割について検討する。
  論文  参考訳（メタデータ） (2023-06-24T10:21:11Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• Graph Neural Tangent Kernel: Convergence on Large Graphs [7.624781434274796]
  グラフニューラルネットワーク(GNN)は、グラフ機械学習タスクにおいて顕著なパフォーマンスを達成する。 グラフニューラルカーネル(GNTK)とグラフトンを用いた大規模グラフGNNのトレーニングダイナミクスについて検討する。
  論文  参考訳（メタデータ） (2023-01-25T19:52:58Z)
• A Convergence Analysis of Nesterov's Accelerated Gradient Method in Training Deep Linear Neural Networks [21.994004684742812]
  モメンタム法は高速軌道のトレーニングネットワークで広く用いられている。 ランダム数と$kappaOの収束は、大域的な最小値に収束できることを示す。 我々は解析を深い線形ResNetに拡張し、同様の結果を導出する。
  論文  参考訳（メタデータ） (2022-04-18T13:24:12Z)
• Scaling Neural Tangent Kernels via Sketching and Random Features [53.57615759435126]
  最近の研究報告では、NTKレグレッションは、小規模データセットでトレーニングされた有限範囲のニューラルネットワークより優れている。 我々は、アークコサインカーネルの拡張をスケッチして、NTKの近距離入力スパーシティ時間近似アルゴリズムを設計する。 CNTKの特徴をトレーニングした線形回帰器が,CIFAR-10データセット上での正確なCNTKの精度と150倍の高速化を実現していることを示す。
  論文  参考訳（メタデータ） (2021-06-15T04:44:52Z)
• How Neural Networks Extrapolate: From Feedforward to Graph Neural Networks [80.55378250013496]
  勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。 グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
  論文  参考訳（メタデータ） (2020-09-24T17:48:59Z)
• Fast Learning of Graph Neural Networks with Guaranteed Generalizability: One-hidden-layer Case [93.37576644429578]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データから実際に学習する上で、近年大きな進歩を遂げている。 回帰問題と二項分類問題の両方に隠れ層を持つGNNの理論的に基底的な一般化可能性解析を行う。
  論文  参考訳（メタデータ） (2020-06-25T00:45:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。