論文の概要: New Insights into Graph Convolutional Networks using Neural Tangent Kernels

• arxiv url: http://arxiv.org/abs/2110.04060v1
• Date: Fri, 8 Oct 2021 15:36:52 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-11 13:51:54.335624
• Title: New Insights into Graph Convolutional Networks using Neural Tangent Kernels
• Title（参考訳）: ニューラルタンジェントカーネルを用いたグラフ畳み込みネットワークの新しい展望
• Authors: Mahalakshmi Sabanayagam, Pascal Esser, Debarghya Ghoshdastidar
• Abstract要約: 本稿では,グラフに関する半教師付き学習に着目し,その観察をNutral Tangent Kernels (NTK) のレンズを通して説明する。 我々は、無限に広いGCNに対応するNTK(スキップ接続なしで)を導出する。 得られたNTKを用いて、適切な正規化を行うと、ネットワーク深さがGCNの性能を劇的に低下させるとは限らないことを識別する。
• 参考スコア（独自算出の注目度）: 8.469525134864393
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph Convolutional Networks (GCNs) have emerged as powerful tools for learning on network structured data. Although empirically successful, GCNs exhibit certain behaviour that has no rigorous explanation -- for instance, the performance of GCNs significantly degrades with increasing network depth, whereas it improves marginally with depth using skip connections. This paper focuses on semi-supervised learning on graphs, and explains the above observations through the lens of Neural Tangent Kernels (NTKs). We derive NTKs corresponding to infinitely wide GCNs (with and without skip connections). Subsequently, we use the derived NTKs to identify that, with suitable normalisation, network depth does not always drastically reduce the performance of GCNs -- a fact that we also validate through extensive simulation. Furthermore, we propose NTK as an efficient `surrogate model' for GCNs that does not suffer from performance fluctuations due to hyper-parameter tuning since it is a hyper-parameter free deterministic kernel. The efficacy of this idea is demonstrated through a comparison of different skip connections for GCNs using the surrogate NTKs.
• Abstract（参考訳）: Graph Convolutional Networks (GCN)は、ネットワーク構造化データを学ぶための強力なツールとして登場した。 実験的に成功したが、GCNは厳密な説明を持たない特定の振る舞いを示す。例えば、GCNのパフォーマンスはネットワーク深さの増加とともに著しく低下する。 本稿では,グラフに関する半教師付き学習に注目し,その観察をNutral Tangent Kernels (NTK) のレンズを通して説明する。 我々は(スキップ接続なしで)無限に広いgcnに対応するntkを導出する。 その後、得られたNTKを用いて、適切な正規化を行うと、ネットワーク深さがGCNの性能を劇的に低下させるとは限らないことを確認する。 さらに,超パラメータ自由決定性カーネルであるため,超パラメータチューニングによる性能変動に悩まされないGCNに対する効率的な「代理モデル」としてNTKを提案する。 このアイデアの有効性は、サロゲートNTKを用いたGCNに対する異なるスキップ接続の比較によって示される。

関連論文リスト

• Graph Neural Networks Do Not Always Oversmooth [46.57665708260211]
  グラフ畳み込みネットワーク (GCN) における過剰スムーシングを, 無限に多くの隠れた特徴の極限におけるガウス過程 (GP) の等価性を用いて検討する。 ネットワークの初期重みが十分に大きな場合、GCNは過度に過度に変化せず、ノード特徴は大きな深さでも情報的のままである。
  論文  参考訳（メタデータ） (2024-06-04T12:47:13Z)
• Efficient kernel surrogates for neural network-based regression [0.8030359871216615]
  ニューラルタンジェントカーネル(NTK)の効率的な近似である共役カーネル(CK)の性能について検討する。 CK性能がNTKよりもわずかに劣っていることを示し、特定の場合において、CK性能が優れていることを示す。 NTKの代わりにCKを使用するための理論的基盤を提供するだけでなく,DNNの精度を安価に向上するためのレシピを提案する。
  論文  参考訳（メタデータ） (2023-10-28T06:41:47Z)
• Neural Tangent Kernels Motivate Graph Neural Networks with Cross-Covariance Graphs [94.44374472696272]
  グラフニューラルネットワーク(GNN)の文脈におけるNTKとアライメントについて検討する。 その結果、2層GNNのアライメントの最適性に関する理論的保証が確立された。 これらの保証は、入力と出力データの相互共分散の関数であるグラフシフト演算子によって特徴づけられる。
  論文  参考訳（メタデータ） (2023-10-16T19:54:21Z)
• What Do Graph Convolutional Neural Networks Learn? [0.0]
  グラフ畳み込みニューラルネットワーク(GCN)はグラフニューラルネットワーク(GNN)の共通変種である 近年の文献では、GCNは特定の「特殊条件」下でヘテロ親和性グラフ上での強い性能を達成可能であることが強調されている。 データセットの基盤となるグラフ構造について検討した結果,GCNのSSNC性能は,クラス内のノードの近傍構造における一貫性と特異性に大きく影響していることがわかった。
  論文  参考訳（メタデータ） (2022-07-05T06:44:37Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• AM-GCN: Adaptive Multi-channel Graph Convolutional Networks [85.0332394224503]
  グラフ畳み込みネットワーク(GCN)は,豊富な情報を持つ複雑なグラフにおいて,ノードの特徴と位相構造を最適に統合できるかどうかを検討する。 半教師付き分類(AM-GCN)のための適応型マルチチャネルグラフ畳み込みネットワークを提案する。 実験の結果,AM-GCNはノードの特徴とトポロジ的構造の両方から最も相関性の高い情報を抽出することがわかった。
  論文  参考訳（メタデータ） (2020-07-05T08:16:03Z)
• Investigating and Mitigating Degree-Related Biases in Graph Convolutional Networks [62.8504260693664]
  グラフ畳み込みネットワーク(GCN)は、グラフ上の半教師付き学習タスクに対して有望な結果を示す。 本稿では,ノード次数分布に関するGCNを解析する。 本稿では,GCNの次数バイアスを緩和する自己監督型DegreeSpecific GCN(SL-DSGC)を開発した。
  論文  参考訳（メタデータ） (2020-06-28T16:26:47Z)
• DeeperGCN: All You Need to Train Deeper GCNs [66.64739331859226]
  グラフ畳み込みネットワーク(GCN)はグラフ上での表現学習の力で注目されている。 非常に深いレイヤを積み重ねることのできる畳み込みニューラルネットワーク(CNN)とは異なり、GCNはより深く進むと、勾配の消失、過度なスムース化、過度に適合する問題に悩まされる。 本稿では,非常に深いGCNを正常かつ確実に訓練できるDeeperGCNを提案する。
  論文  参考訳（メタデータ） (2020-06-13T23:00:22Z)
• Scattering GCN: Overcoming Oversmoothness in Graph Convolutional Networks [0.0]
  グラフ畳み込みネットワーク(GCN)は,構造認識の特徴を抽出することによって,グラフデータ処理において有望な結果を示した。 本稿では、幾何学的散乱変換と残差畳み込みによる従来のGCNの増大を提案する。 前者はグラフ信号の帯域通過フィルタリングが可能であり、GCNでしばしば発生する過度な過度な処理を緩和する。
  論文  参考訳（メタデータ） (2020-03-18T18:03:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。