論文の概要: How Graph Neural Networks Learn: Lessons from Training Dynamics in
Function Space
- arxiv url: http://arxiv.org/abs/2310.05105v1
- Date: Sun, 8 Oct 2023 10:19:56 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-12 12:35:19.348574
- Title: How Graph Neural Networks Learn: Lessons from Training Dynamics in
Function Space
- Title(参考訳): グラフニューラルネットワークの学習方法:関数空間におけるトレーニングダイナミクスから学ぶ
- Authors: Chenxiao Yang, Qitian Wu, David Wipf, Ruoyu Sun, Junchi Yan
- Abstract要約: 関数空間におけるグラフニューラルネットワーク(GNN)の学習力学について検討する。
学習したGNN関数がなぜ一般化したのか,また異種グラフ上での病的振る舞いについて解説する。
実際に、学習ダイナミクスのスポース化と実装は、最小主義的な半教師付き学習アルゴリズムに繋がる。
- 参考スコア(独自算出の注目度): 86.27589054492427
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A long-standing goal in deep learning has been to characterize the learning
behavior of black-box models in a more interpretable manner. For graph neural
networks (GNNs), considerable advances have been made in formalizing what
functions they can represent, however it remains less clear whether and how
GNNs learn desired functions during the optimization process. To fill this
critical gap, we study the learning dynamics of GNNs in function space via the
analytic framework of overparameterization. In particular, we find that the
seemingly complicated training process of GNNs can be re-cast into a more
familiar label propagation framework, due to the graph inductive bias implicit
in this process. From this vantage point, we provide explanations for why the
learned GNN functions successfully generalize and for their pathological
behavior on heterophilic graphs, which are consistent with observations.
Practically, sparsifying and implementing the learning dynamics lead to a
minimalist semi-supervised learning algorithm with the efficiency of classic
algorithms and the effectiveness of modern GNNs.
- Abstract(参考訳): ディープラーニングにおける長年の目標は、ブラックボックスモデルの学習行動をより解釈可能な方法で特徴付けることである。
グラフニューラルネットワーク(GNN)では、どの関数を表現できるかの形式化にかなりの進歩があったが、GNNが最適化プロセス中に望ましい関数をどう学習するかは明らかになっていない。
この重要なギャップを埋めるために,関数空間におけるGNNの学習力学をオーバーパラメータ化のフレームワークを用いて研究する。
特に,GNNの複雑なトレーニングプロセスは,グラフ帰納バイアスが暗黙的に現れるため,より親しみやすいラベル伝搬フレームワークに再キャストできることがわかった。
この点から、学習したGNN関数がなぜ一般化したのか、また、観測と整合したヘテロ親和性グラフ上でのそれらの病理学的挙動を説明する。
実際に、学習ダイナミクスのスポース化と実装は、古典的アルゴリズムの効率と現代のGNNの有効性で、最小限の半教師付き学習アルゴリズムをもたらす。
関連論文リスト
- Label Deconvolution for Node Representation Learning on Large-scale
Attributed Graphs against Learning Bias [75.44877675117749]
本稿では,GNNの逆写像に対する新しい,スケーラブルな近似による学習バイアスを軽減するために,ラベルの効率的な正規化手法,すなわちラベルのデコンボリューション(LD)を提案する。
実験では、LDはOpen Graphデータセットのベンチマークで最先端のメソッドを大幅に上回っている。
論文 参考訳(メタデータ) (2023-09-26T13:09:43Z) - Graph Neural Networks Provably Benefit from Structural Information: A
Feature Learning Perspective [53.999128831324576]
グラフニューラルネットワーク(GNN)は、グラフ表現学習の先駆けとなった。
本研究では,特徴学習理論の文脈におけるグラフ畳み込みの役割について検討する。
論文 参考訳(メタデータ) (2023-06-24T10:21:11Z) - Joint Feature and Differentiable $ k $-NN Graph Learning using Dirichlet
Energy [103.74640329539389]
特徴選択と識別可能な$k $-NNグラフ学習を同時に行うディープFS法を提案する。
我々は、ニューラルネットワークで$ k $-NNグラフを学習する際の非微分可能性問題に対処するために、最適輸送理論を用いる。
本モデルの有効性を,合成データセットと実世界のデータセットの両方で広範な実験により検証する。
論文 参考訳(メタデータ) (2023-05-21T08:15:55Z) - Simple yet Effective Gradient-Free Graph Convolutional Networks [20.448409424929604]
近年,グラフ表現学習において線形化グラフニューラルネットワーク (GNN) が注目されている。
本稿では,過度な平滑化と消失する勾配現象を関連づけ,勾配のないトレーニングフレームワークを構築する。
提案手法は, ノード分類タスクにおいて, 深度や訓練時間を大幅に短縮して, より優れた, より安定した性能を実現する。
論文 参考訳(メタデータ) (2023-02-01T11:00:24Z) - Adaptive Kernel Graph Neural Network [21.863238974404474]
グラフニューラルネットワーク(GNN)は,グラフ構造化データの表現学習において大きな成功を収めている。
本稿では,AKGNN(Adaptive Kernel Graph Neural Network)という新しいフレームワークを提案する。
AKGNNは、最初の試みで最適なグラフカーネルに統一的に適応することを学ぶ。
評価されたベンチマークデータセットで実験を行い、提案したAKGNNの優れた性能を示す有望な結果を得た。
論文 参考訳(メタデータ) (2021-12-08T20:23:58Z) - Learning to Evolve on Dynamic Graphs [5.1521870302904125]
Learning to Evolve on Dynamic Graphs (LEDG)は、グラフ情報と時間情報を共同で学習する新しいアルゴリズムである。
LEDGはモデルに依存しないため、動的グラフ上でメッセージパッシングベースのグラフニューラルネットワーク(GNN)をトレーニングすることができる。
論文 参考訳(メタデータ) (2021-11-13T04:09:30Z) - Implicit Graph Neural Networks [46.0589136729616]
Indicit Graph Neural Networks (IGNN) と呼ばれるグラフ学習フレームワークを提案する。
IGNNは一貫して長距離依存を捉え、最先端のGNNモデルより優れている。
論文 参考訳(メタデータ) (2020-09-14T06:04:55Z) - Fast Learning of Graph Neural Networks with Guaranteed Generalizability:
One-hidden-layer Case [93.37576644429578]
グラフニューラルネットワーク(GNN)は、グラフ構造化データから実際に学習する上で、近年大きな進歩を遂げている。
回帰問題と二項分類問題の両方に隠れ層を持つGNNの理論的に基底的な一般化可能性解析を行う。
論文 参考訳(メタデータ) (2020-06-25T00:45:52Z) - XGNN: Towards Model-Level Explanations of Graph Neural Networks [113.51160387804484]
グラフニューラルネットワーク(GNN)は、隣の情報を集約して組み合わせることでノードの特徴を学習する。
GNNはブラックボックスとして扱われ、人間の知的な説明が欠けている。
我々はモデルレベルでGNNを解釈する新しい手法 XGNN を提案する。
論文 参考訳(メタデータ) (2020-06-03T23:52:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。