論文の概要: How Graph Neural Networks Learn: Lessons from Training Dynamics
- arxiv url: http://arxiv.org/abs/2310.05105v2
- Date: Tue, 20 Feb 2024 07:10:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-21 20:39:24.840196
- Title: How Graph Neural Networks Learn: Lessons from Training Dynamics
- Title(参考訳): グラフニューラルネットワークの学習方法:トレーニングダイナミクスから学ぶ
- Authors: Chenxiao Yang, Qitian Wu, David Wipf, Ruoyu Sun, Junchi Yan
- Abstract要約: グラフニューラルネットワーク(GNN)の関数空間におけるトレーニングダイナミクスについて検討する。
勾配降下によるGNNの最適化は暗黙的にグラフ構造を利用して学習した関数を更新する。
グラフ構造を用いて学習した関数を明示的に更新することで得られる単純で効率的な非パラメトリックアルゴリズムは、非線形GNNと一貫して競合することを示す。
- 参考スコア(独自算出の注目度): 86.27589054492427
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A long-standing goal in deep learning has been to characterize the learning
behavior of black-box models in a more interpretable manner. For graph neural
networks (GNNs), considerable advances have been made in formalizing what
functions they can represent, but whether GNNs will learn desired functions
during the optimization process remains less clear. To fill this gap, we study
their training dynamics in function space. In particular, we find that the
optimization of GNNs through gradient descent implicitly leverages the graph
structure to update the learned function. This phenomenon is dubbed as
kernel-graph alignment, which has been empirically and theoretically
corroborated. This new analytical framework from the optimization perspective
enables interpretable explanations of when and why the learned GNN functions
generalize, which are relevant to their limitations on heterophilic graphs.
From a practical standpoint, it also provides high-level principles for
designing new algorithms. We exemplify this by showing that a simple and
efficient non-parametric algorithm, obtained by explicitly using graph
structure to update the learned function, can consistently compete with
nonlinear GNNs.
- Abstract(参考訳): ディープラーニングにおける長年の目標は、ブラックボックスモデルの学習行動をより解釈可能な方法で特徴付けることである。
グラフニューラルネットワーク(GNN)では、どの関数を表現できるかの形式化がかなり進んでいるが、最適化プロセス中にGNNが望ましい関数を学習するかどうかはまだ明らかになっていない。
このギャップを埋めるために,関数空間におけるトレーニングダイナミクスについて検討する。
特に,勾配降下によるgnnの最適化が暗黙的にグラフ構造を利用して学習関数を更新することを見出した。
この現象はカーネルグラフアライメントと呼ばれ、経験的および理論的に裏付けられている。
最適化の観点からの新しい分析フレームワークは、学習したGNN関数が一般化した時期と理由を解釈可能な説明を可能にする。
実用的な観点からは、新しいアルゴリズムを設計するためのハイレベルな原則も提供する。
グラフ構造を用いて学習した関数を明示的に更新することで得られる単純で効率的な非パラメトリックアルゴリズムが非線形GNNと一貫して競合することを示す。
関連論文リスト
- Label Deconvolution for Node Representation Learning on Large-scale
Attributed Graphs against Learning Bias [75.44877675117749]
本稿では,GNNの逆写像に対する新しい,スケーラブルな近似による学習バイアスを軽減するために,ラベルの効率的な正規化手法,すなわちラベルのデコンボリューション(LD)を提案する。
実験では、LDはOpen Graphデータセットのベンチマークで最先端のメソッドを大幅に上回っている。
論文 参考訳(メタデータ) (2023-09-26T13:09:43Z) - Graph Neural Networks Provably Benefit from Structural Information: A
Feature Learning Perspective [53.999128831324576]
グラフニューラルネットワーク(GNN)は、グラフ表現学習の先駆けとなった。
本研究では,特徴学習理論の文脈におけるグラフ畳み込みの役割について検討する。
論文 参考訳(メタデータ) (2023-06-24T10:21:11Z) - Joint Feature and Differentiable $ k $-NN Graph Learning using Dirichlet
Energy [103.74640329539389]
特徴選択と識別可能な$k $-NNグラフ学習を同時に行うディープFS法を提案する。
我々は、ニューラルネットワークで$ k $-NNグラフを学習する際の非微分可能性問題に対処するために、最適輸送理論を用いる。
本モデルの有効性を,合成データセットと実世界のデータセットの両方で広範な実験により検証する。
論文 参考訳(メタデータ) (2023-05-21T08:15:55Z) - Simple yet Effective Gradient-Free Graph Convolutional Networks [20.448409424929604]
近年,グラフ表現学習において線形化グラフニューラルネットワーク (GNN) が注目されている。
本稿では,過度な平滑化と消失する勾配現象を関連づけ,勾配のないトレーニングフレームワークを構築する。
提案手法は, ノード分類タスクにおいて, 深度や訓練時間を大幅に短縮して, より優れた, より安定した性能を実現する。
論文 参考訳(メタデータ) (2023-02-01T11:00:24Z) - Adaptive Kernel Graph Neural Network [21.863238974404474]
グラフニューラルネットワーク(GNN)は,グラフ構造化データの表現学習において大きな成功を収めている。
本稿では,AKGNN(Adaptive Kernel Graph Neural Network)という新しいフレームワークを提案する。
AKGNNは、最初の試みで最適なグラフカーネルに統一的に適応することを学ぶ。
評価されたベンチマークデータセットで実験を行い、提案したAKGNNの優れた性能を示す有望な結果を得た。
論文 参考訳(メタデータ) (2021-12-08T20:23:58Z) - Learning to Evolve on Dynamic Graphs [5.1521870302904125]
Learning to Evolve on Dynamic Graphs (LEDG)は、グラフ情報と時間情報を共同で学習する新しいアルゴリズムである。
LEDGはモデルに依存しないため、動的グラフ上でメッセージパッシングベースのグラフニューラルネットワーク(GNN)をトレーニングすることができる。
論文 参考訳(メタデータ) (2021-11-13T04:09:30Z) - Implicit Graph Neural Networks [46.0589136729616]
Indicit Graph Neural Networks (IGNN) と呼ばれるグラフ学習フレームワークを提案する。
IGNNは一貫して長距離依存を捉え、最先端のGNNモデルより優れている。
論文 参考訳(メタデータ) (2020-09-14T06:04:55Z) - Fast Learning of Graph Neural Networks with Guaranteed Generalizability:
One-hidden-layer Case [93.37576644429578]
グラフニューラルネットワーク(GNN)は、グラフ構造化データから実際に学習する上で、近年大きな進歩を遂げている。
回帰問題と二項分類問題の両方に隠れ層を持つGNNの理論的に基底的な一般化可能性解析を行う。
論文 参考訳(メタデータ) (2020-06-25T00:45:52Z) - XGNN: Towards Model-Level Explanations of Graph Neural Networks [113.51160387804484]
グラフニューラルネットワーク(GNN)は、隣の情報を集約して組み合わせることでノードの特徴を学習する。
GNNはブラックボックスとして扱われ、人間の知的な説明が欠けている。
我々はモデルレベルでGNNを解釈する新しい手法 XGNN を提案する。
論文 参考訳(メタデータ) (2020-06-03T23:52:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。