論文の概要: How Graph Neural Networks Learn: Lessons from Training Dynamics in Function Space

• arxiv url: http://arxiv.org/abs/2310.05105v1
• Date: Sun, 8 Oct 2023 10:19:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-12 12:35:19.348574
• Title: How Graph Neural Networks Learn: Lessons from Training Dynamics in Function Space
• Title（参考訳）: グラフニューラルネットワークの学習方法:関数空間におけるトレーニングダイナミクスから学ぶ
• Authors: Chenxiao Yang, Qitian Wu, David Wipf, Ruoyu Sun, Junchi Yan
• Abstract要約: 関数空間におけるグラフニューラルネットワーク(GNN)の学習力学について検討する。 学習したGNN関数がなぜ一般化したのか,また異種グラフ上での病的振る舞いについて解説する。 実際に、学習ダイナミクスのスポース化と実装は、最小主義的な半教師付き学習アルゴリズムに繋がる。
• 参考スコア（独自算出の注目度）: 86.27589054492427
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A long-standing goal in deep learning has been to characterize the learning behavior of black-box models in a more interpretable manner. For graph neural networks (GNNs), considerable advances have been made in formalizing what functions they can represent, however it remains less clear whether and how GNNs learn desired functions during the optimization process. To fill this critical gap, we study the learning dynamics of GNNs in function space via the analytic framework of overparameterization. In particular, we find that the seemingly complicated training process of GNNs can be re-cast into a more familiar label propagation framework, due to the graph inductive bias implicit in this process. From this vantage point, we provide explanations for why the learned GNN functions successfully generalize and for their pathological behavior on heterophilic graphs, which are consistent with observations. Practically, sparsifying and implementing the learning dynamics lead to a minimalist semi-supervised learning algorithm with the efficiency of classic algorithms and the effectiveness of modern GNNs.
• Abstract（参考訳）: ディープラーニングにおける長年の目標は、ブラックボックスモデルの学習行動をより解釈可能な方法で特徴付けることである。 グラフニューラルネットワーク(GNN)では、どの関数を表現できるかの形式化にかなりの進歩があったが、GNNが最適化プロセス中に望ましい関数をどう学習するかは明らかになっていない。 この重要なギャップを埋めるために,関数空間におけるGNNの学習力学をオーバーパラメータ化のフレームワークを用いて研究する。 特に,GNNの複雑なトレーニングプロセスは,グラフ帰納バイアスが暗黙的に現れるため,より親しみやすいラベル伝搬フレームワークに再キャストできることがわかった。 この点から、学習したGNN関数がなぜ一般化したのか、また、観測と整合したヘテロ親和性グラフ上でのそれらの病理学的挙動を説明する。 実際に、学習ダイナミクスのスポース化と実装は、古典的アルゴリズムの効率と現代のGNNの有効性で、最小限の半教師付き学習アルゴリズムをもたらす。

関連論文リスト

• Heuristic Learning with Graph Neural Networks: A Unified Framework for Link Prediction [25.87108956561691]
  リンク予測はグラフ学習における基本的なタスクであり、本質的にグラフのトポロジーによって形作られる。 種々の重みを適応・一般化するための統一行列定式化を提案する。 また,この定式化を効率的に実装するためのHuristic Learning Graph Neural Network (HL-GNN)を提案する。
  論文  参考訳（メタデータ） (2024-06-12T08:05:45Z)
• Graph Neural Networks Provably Benefit from Structural Information: A Feature Learning Perspective [53.999128831324576]
  グラフニューラルネットワーク(GNN)は、グラフ表現学習の先駆けとなった。 本研究では,特徴学習理論の文脈におけるグラフ畳み込みの役割について検討する。
  論文  参考訳（メタデータ） (2023-06-24T10:21:11Z)
• Simple yet Effective Gradient-Free Graph Convolutional Networks [20.448409424929604]
  近年,グラフ表現学習において線形化グラフニューラルネットワーク (GNN) が注目されている。 本稿では,過度な平滑化と消失する勾配現象を関連づけ,勾配のないトレーニングフレームワークを構築する。 提案手法は, ノード分類タスクにおいて, 深度や訓練時間を大幅に短縮して, より優れた, より安定した性能を実現する。
  論文  参考訳（メタデータ） (2023-02-01T11:00:24Z)
• GNNInterpreter: A Probabilistic Generative Model-Level Explanation for Graph Neural Networks [25.94529851210956]
  本稿では,異なるグラフニューラルネットワーク(GNN)に対して,メッセージパッシング方式であるGNNInterpreterに従うモデルに依存しないモデルレベルの説明手法を提案する。 GNNInterpreterは、GNNが検出しようとする最も識別性の高いグラフパターンを生成する確率的生成グラフ分布を学習する。 既存の研究と比較すると、GNNInterpreterはノードとエッジの異なるタイプの説明グラフを生成する際に、より柔軟で計算的に効率的である。
  論文  参考訳（メタデータ） (2022-09-15T07:45:35Z)
• Learning to Evolve on Dynamic Graphs [5.1521870302904125]
  Learning to Evolve on Dynamic Graphs (LEDG)は、グラフ情報と時間情報を共同で学習する新しいアルゴリズムである。 LEDGはモデルに依存しないため、動的グラフ上でメッセージパッシングベースのグラフニューラルネットワーク(GNN)をトレーニングすることができる。
  論文  参考訳（メタデータ） (2021-11-13T04:09:30Z)
• Optimization of Graph Neural Networks: Implicit Acceleration by Skip Connections and More Depth [57.10183643449905]
  グラフニューラルネットワーク(GNN)は表現力と一般化のレンズから研究されている。 GNNのダイナミクスを深部スキップ最適化により研究する。 本研究は,GNNの成功に対する最初の理論的支援を提供する。
  論文  参考訳（メタデータ） (2021-05-10T17:59:01Z)
• Fast Learning of Graph Neural Networks with Guaranteed Generalizability: One-hidden-layer Case [93.37576644429578]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データから実際に学習する上で、近年大きな進歩を遂げている。 回帰問題と二項分類問題の両方に隠れ層を持つGNNの理論的に基底的な一般化可能性解析を行う。
  論文  参考訳（メタデータ） (2020-06-25T00:45:52Z)
• Optimization and Generalization Analysis of Transduction through Gradient Boosting and Application to Multi-scale Graph Neural Networks [60.22494363676747]
  現在のグラフニューラルネットワーク(GNN)は、オーバースムーシング(over-smoothing)と呼ばれる問題のため、自分自身を深くするのは難しいことが知られている。 マルチスケールGNNは、オーバースムーシング問題を緩和するための有望なアプローチである。 マルチスケールGNNを含むトランスダクティブ学習アルゴリズムの最適化と一般化を保証する。
  論文  参考訳（メタデータ） (2020-06-15T17:06:17Z)
• XGNN: Towards Model-Level Explanations of Graph Neural Networks [113.51160387804484]
  グラフニューラルネットワーク(GNN)は、隣の情報を集約して組み合わせることでノードの特徴を学習する。 GNNはブラックボックスとして扱われ、人間の知的な説明が欠けている。 我々はモデルレベルでGNNを解釈する新しい手法 XGNN を提案する。
  論文  参考訳（メタデータ） (2020-06-03T23:52:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。