論文の概要: How Graph Neural Networks Learn: Lessons from Training Dynamics

• arxiv url: http://arxiv.org/abs/2310.05105v2
• Date: Tue, 20 Feb 2024 07:10:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-21 20:39:24.840196
• Title: How Graph Neural Networks Learn: Lessons from Training Dynamics
• Title（参考訳）: グラフニューラルネットワークの学習方法:トレーニングダイナミクスから学ぶ
• Authors: Chenxiao Yang, Qitian Wu, David Wipf, Ruoyu Sun, Junchi Yan
• Abstract要約: グラフニューラルネットワーク(GNN)の関数空間におけるトレーニングダイナミクスについて検討する。 勾配降下によるGNNの最適化は暗黙的にグラフ構造を利用して学習した関数を更新する。 グラフ構造を用いて学習した関数を明示的に更新することで得られる単純で効率的な非パラメトリックアルゴリズムは、非線形GNNと一貫して競合することを示す。
• 参考スコア（独自算出の注目度）: 86.27589054492427
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A long-standing goal in deep learning has been to characterize the learning behavior of black-box models in a more interpretable manner. For graph neural networks (GNNs), considerable advances have been made in formalizing what functions they can represent, but whether GNNs will learn desired functions during the optimization process remains less clear. To fill this gap, we study their training dynamics in function space. In particular, we find that the optimization of GNNs through gradient descent implicitly leverages the graph structure to update the learned function. This phenomenon is dubbed as kernel-graph alignment, which has been empirically and theoretically corroborated. This new analytical framework from the optimization perspective enables interpretable explanations of when and why the learned GNN functions generalize, which are relevant to their limitations on heterophilic graphs. From a practical standpoint, it also provides high-level principles for designing new algorithms. We exemplify this by showing that a simple and efficient non-parametric algorithm, obtained by explicitly using graph structure to update the learned function, can consistently compete with nonlinear GNNs.
• Abstract（参考訳）: ディープラーニングにおける長年の目標は、ブラックボックスモデルの学習行動をより解釈可能な方法で特徴付けることである。 グラフニューラルネットワーク(GNN)では、どの関数を表現できるかの形式化がかなり進んでいるが、最適化プロセス中にGNNが望ましい関数を学習するかどうかはまだ明らかになっていない。 このギャップを埋めるために,関数空間におけるトレーニングダイナミクスについて検討する。 特に,勾配降下によるgnnの最適化が暗黙的にグラフ構造を利用して学習関数を更新することを見出した。 この現象はカーネルグラフアライメントと呼ばれ、経験的および理論的に裏付けられている。 最適化の観点からの新しい分析フレームワークは、学習したGNN関数が一般化した時期と理由を解釈可能な説明を可能にする。 実用的な観点からは、新しいアルゴリズムを設計するためのハイレベルな原則も提供する。 グラフ構造を用いて学習した関数を明示的に更新することで得られる単純で効率的な非パラメトリックアルゴリズムが非線形GNNと一貫して競合することを示す。

関連論文リスト

• Heuristic Learning with Graph Neural Networks: A Unified Framework for Link Prediction [25.87108956561691]
  リンク予測はグラフ学習における基本的なタスクであり、本質的にグラフのトポロジーによって形作られる。 種々の重みを適応・一般化するための統一行列定式化を提案する。 また,この定式化を効率的に実装するためのHuristic Learning Graph Neural Network (HL-GNN)を提案する。
  論文  参考訳（メタデータ） (2024-06-12T08:05:45Z)
• Graph Neural Networks Provably Benefit from Structural Information: A Feature Learning Perspective [53.999128831324576]
  グラフニューラルネットワーク(GNN)は、グラフ表現学習の先駆けとなった。 本研究では,特徴学習理論の文脈におけるグラフ畳み込みの役割について検討する。
  論文  参考訳（メタデータ） (2023-06-24T10:21:11Z)
• Simple yet Effective Gradient-Free Graph Convolutional Networks [20.448409424929604]
  近年,グラフ表現学習において線形化グラフニューラルネットワーク (GNN) が注目されている。 本稿では,過度な平滑化と消失する勾配現象を関連づけ,勾配のないトレーニングフレームワークを構築する。 提案手法は, ノード分類タスクにおいて, 深度や訓練時間を大幅に短縮して, より優れた, より安定した性能を実現する。
  論文  参考訳（メタデータ） (2023-02-01T11:00:24Z)
• GNNInterpreter: A Probabilistic Generative Model-Level Explanation for Graph Neural Networks [25.94529851210956]
  本稿では,異なるグラフニューラルネットワーク(GNN)に対して,メッセージパッシング方式であるGNNInterpreterに従うモデルに依存しないモデルレベルの説明手法を提案する。 GNNInterpreterは、GNNが検出しようとする最も識別性の高いグラフパターンを生成する確率的生成グラフ分布を学習する。 既存の研究と比較すると、GNNInterpreterはノードとエッジの異なるタイプの説明グラフを生成する際に、より柔軟で計算的に効率的である。
  論文  参考訳（メタデータ） (2022-09-15T07:45:35Z)
• Learning to Evolve on Dynamic Graphs [5.1521870302904125]
  Learning to Evolve on Dynamic Graphs (LEDG)は、グラフ情報と時間情報を共同で学習する新しいアルゴリズムである。 LEDGはモデルに依存しないため、動的グラフ上でメッセージパッシングベースのグラフニューラルネットワーク(GNN)をトレーニングすることができる。
  論文  参考訳（メタデータ） (2021-11-13T04:09:30Z)
• Optimization of Graph Neural Networks: Implicit Acceleration by Skip Connections and More Depth [57.10183643449905]
  グラフニューラルネットワーク(GNN)は表現力と一般化のレンズから研究されている。 GNNのダイナミクスを深部スキップ最適化により研究する。 本研究は,GNNの成功に対する最初の理論的支援を提供する。
  論文  参考訳（メタデータ） (2021-05-10T17:59:01Z)
• Fast Learning of Graph Neural Networks with Guaranteed Generalizability: One-hidden-layer Case [93.37576644429578]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データから実際に学習する上で、近年大きな進歩を遂げている。 回帰問題と二項分類問題の両方に隠れ層を持つGNNの理論的に基底的な一般化可能性解析を行う。
  論文  参考訳（メタデータ） (2020-06-25T00:45:52Z)
• Optimization and Generalization Analysis of Transduction through Gradient Boosting and Application to Multi-scale Graph Neural Networks [60.22494363676747]
  現在のグラフニューラルネットワーク(GNN)は、オーバースムーシング(over-smoothing)と呼ばれる問題のため、自分自身を深くするのは難しいことが知られている。 マルチスケールGNNは、オーバースムーシング問題を緩和するための有望なアプローチである。 マルチスケールGNNを含むトランスダクティブ学習アルゴリズムの最適化と一般化を保証する。
  論文  参考訳（メタデータ） (2020-06-15T17:06:17Z)
• XGNN: Towards Model-Level Explanations of Graph Neural Networks [113.51160387804484]
  グラフニューラルネットワーク(GNN)は、隣の情報を集約して組み合わせることでノードの特徴を学習する。 GNNはブラックボックスとして扱われ、人間の知的な説明が欠けている。 我々はモデルレベルでGNNを解釈する新しい手法 XGNN を提案する。
  論文  参考訳（メタデータ） (2020-06-03T23:52:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。