論文の概要: Graph Neural Networks are Inherently Good Generalizers: Insights by Bridging GNNs and MLPs

• arxiv url: http://arxiv.org/abs/2212.09034v1
• Date: Sun, 18 Dec 2022 08:17:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-20 18:06:47.547220
• Title: Graph Neural Networks are Inherently Good Generalizers: Insights by Bridging GNNs and MLPs
• Title（参考訳）: グラフニューラルネットワークは本質的に優れた一般化器である:GNNとMPPのブリッジによる洞察
• Authors: Chenxiao Yang, Qitian Wu, Jiahua Wang, Junchi Yan
• Abstract要約: グラフネットワーク(GNN)はマルチ層パーセプトロン(MLP)アーキテクチャ上に構築されており、ノードをまたぐ機能を実現するために追加のメッセージパッシング層を備えている。 本稿では,P(ropagational)MLPと呼ばれる中間モデルを導入することにより,GNNの性能向上を本質的な能力に向ける。 PMLPは10のベンチマークと異なる実験的な設定でGNNと同等(あるいはそれ以上)に動作します。
• 参考スコア（独自算出の注目度）: 71.93227401463199
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph neural networks (GNNs), as the de-facto model class for representation learning on graphs, are built upon the multi-layer perceptrons (MLP) architecture with additional message passing layers to allow features to flow across nodes. While conventional wisdom largely attributes the success of GNNs to their advanced expressivity for learning desired functions on nodes' ego-graphs, we conjecture that this is \emph{not} the main cause of GNNs' superiority in node prediction tasks. This paper pinpoints the major source of GNNs' performance gain to their intrinsic generalization capabilities, by introducing an intermediate model class dubbed as P(ropagational)MLP, which is identical to standard MLP in training, and then adopt GNN's architecture in testing. Intriguingly, we observe that PMLPs consistently perform on par with (or even exceed) their GNN counterparts across ten benchmarks and different experimental settings, despite the fact that PMLPs share the same (trained) weights with poorly-performed MLP. This critical finding opens a door to a brand new perspective for understanding the power of GNNs, and allow bridging GNNs and MLPs for dissecting their generalization behaviors. As an initial step to analyze PMLP, we show its essential difference with MLP at infinite-width limit lies in the NTK feature map in the post-training stage. Moreover, though MLP and PMLP cannot extrapolate non-linear functions for extreme OOD data, PMLP has more freedom to generalize near the training support.
• Abstract（参考訳）: グラフ上の表現学習のためのデファクトモデルクラスとして、グラフニューラルネットワーク(gnns)は、多層パーセプトロン(mlp)アーキテクチャ上に構築されており、ノードを横断する機能を可能にする追加のメッセージパッシング層を備えている。 従来の知恵は、ノードのエゴグラフ上で所望の関数を学習する上で、GNNの成功は高度な表現性に大きく寄与するが、ノード予測タスクにおけるGNNの優位性の主な原因は、これは「emph{not}」である。 本稿では,P(ropagational)MLPと呼ばれる中間モデルクラスを導入することにより,GNNの性能向上を本質的な一般化能力に向ける。 興味深いことに、PMLPは、性能の悪いMPPと同じ(訓練された)重みを共有しているにもかかわらず、10のベンチマークと異なる実験環境において、GNNと同等(あるいはそれ以上)に動作している。 この重要な発見は、gnnのパワーを理解するための全く新しい視点への扉を開き、gnnとmlpを橋渡しして一般化の振る舞いを解剖することを可能にする。 PMLPを解析するための最初のステップとして、トレーニング後のNTK特徴マップに、無限幅制限でのMPPとの本質的な違いを示す。 さらに、PMLPとPMLPは、極端なOODデータに対して非線形関数を外挿することはできないが、PMLPはトレーニングサポートの近傍でより一般化する自由がある。

関連論文リスト

• Label Deconvolution for Node Representation Learning on Large-scale Attributed Graphs against Learning Bias [75.44877675117749]
  本稿では,GNNの逆写像に対する新しい,スケーラブルな近似による学習バイアスを軽減するために,ラベルの効率的な正規化手法,すなわちラベルのデコンボリューション(LD)を提案する。 実験では、LDはOpen Graphデータセットのベンチマークで最先端のメソッドを大幅に上回っている。
  論文  参考訳（メタデータ） (2023-09-26T13:09:43Z)
• GNN-Ensemble: Towards Random Decision Graph Neural Networks [3.7620848582312405]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データに広く応用されている。 GNNは、大量のテストデータに基づいて推論を行うために、限られた量のトレーニングデータから潜伏パターンを学習する必要がある。 本稿では、GNNのアンサンブル学習を一歩前進させ、精度、堅牢性、敵攻撃を改善した。
  論文  参考訳（メタデータ） (2023-03-20T18:24:01Z)
• Superiority of GNN over NN in generalizing bandlimited functions [6.3151583550712065]
  グラフニューラルネットワーク(GNN)は、さまざまなアプリケーションにまたがってグラフベースの情報を処理するための強力なリソースとして登場した。 本研究では,これらの分類におけるGNNの習熟度について検討する。 以上の結果から,GNNを用いた帯域制限関数を$varepsilon$-errorマージン内で一般化する上で,高い効率性を示した。
  論文  参考訳（メタデータ） (2022-06-13T05:15:12Z)
• Subgroup Generalization and Fairness of Graph Neural Networks [12.88476464580968]
  非IID半教師付き学習環境下でのGNNに対する新しいPAC-Bayesian解析を提案する。 さらに、理論的な観点から、GNNの精度(dis)パリティスタイル(un)フェアネスについて研究する。
  論文  参考訳（メタデータ） (2021-06-29T16:13:41Z)
• Optimization of Graph Neural Networks: Implicit Acceleration by Skip Connections and More Depth [57.10183643449905]
  グラフニューラルネットワーク(GNN)は表現力と一般化のレンズから研究されている。 GNNのダイナミクスを深部スキップ最適化により研究する。 本研究は,GNNの成功に対する最初の理論的支援を提供する。
  論文  参考訳（メタデータ） (2021-05-10T17:59:01Z)
• The Surprising Power of Graph Neural Networks with Random Node Initialization [54.4101931234922]
  グラフニューラルネットワーク(GNN)は、関係データ上での表現学習に有効なモデルである。 標準 GNN はその表現力に制限があり、Weisfeiler-Leman グラフ同型(英語版)の能力以外の区別はできない。 本研究では,ランダムノード(RNI)を用いたGNNの表現力の解析を行う。 我々はこれらのモデルが普遍的であることを証明し、GNNが高次特性の計算に頼らない最初の結果である。
  論文  参考訳（メタデータ） (2020-10-02T19:53:05Z)
• How Neural Networks Extrapolate: From Feedforward to Graph Neural Networks [80.55378250013496]
  勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。 グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
  論文  参考訳（メタデータ） (2020-09-24T17:48:59Z)
• Eigen-GNN: A Graph Structure Preserving Plug-in for GNNs [95.63153473559865]
  グラフニューラルネットワーク(GNN)は、グラフ上の新たな機械学習モデルである。 既存のGNNモデルの多くは浅く、本質的に機能中心である。 我々は,既存の浅いGNNがグラフ構造をよく保存できないことを経験的かつ解析的に示す。 本稿では,グラフ構造保存におけるGNNの能力を高めるプラグインモジュールであるEigen-GNNを提案する。
  論文  参考訳（メタデータ） (2020-06-08T02:47:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。