論文の概要: Towards Understanding the Generalization of Graph Neural Networks
- arxiv url: http://arxiv.org/abs/2305.08048v1
- Date: Sun, 14 May 2023 03:05:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-16 18:02:40.600571
- Title: Towards Understanding the Generalization of Graph Neural Networks
- Title(参考訳): グラフニューラルネットワークの一般化に向けて
- Authors: Huayi Tang and Yong Liu
- Abstract要約: グラフニューラルネットワーク(GNN)は、グラフ構造化データ指向学習と表現において最も広く採用されているモデルである。
まず,帰納学習における一般化ギャップと勾配の確率境界を確立する。
理論的な結果は、一般化ギャップに影響を与えるアーキテクチャ固有の要因を明らかにする。
- 参考スコア(独自算出の注目度): 9.217947432437546
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph neural networks (GNNs) are the most widely adopted model in
graph-structured data oriented learning and representation. Despite their
extraordinary success in real-world applications, understanding their working
mechanism by theory is still on primary stage. In this paper, we move towards
this goal from the perspective of generalization. To be specific, we first
establish high probability bounds of generalization gap and gradients in
transductive learning with consideration of stochastic optimization. After
that, we provide high probability bounds of generalization gap for popular
GNNs. The theoretical results reveal the architecture specific factors
affecting the generalization gap. Experimental results on benchmark datasets
show the consistency between theoretical results and empirical evidence. Our
results provide new insights in understanding the generalization of GNNs.
- Abstract(参考訳): グラフニューラルネットワーク(GNN)は、グラフ構造化データ指向学習と表現において最も広く採用されているモデルである。
実世界のアプリケーションで並外れた成功を収めたにもかかわらず、理論による作業メカニズムの理解はまだ第一段階である。
本稿では,一般化の観点から,この目標に向かって進む。
具体的には,確率的最適化を考慮したトランスダクティブ学習における一般化ギャップと勾配の確率境界を確立する。
その後、人気のあるGNNに対して、一般化ギャップの確率境界を提供する。
理論的結果は、一般化ギャップに影響を与えるアーキテクチャ固有の要因を明らかにする。
ベンチマークデータセットにおける実験結果は、理論的結果と経験的証拠の一貫性を示している。
本研究は,GNNの一般化に関する新たな知見を提供する。
関連論文リスト
- Generalization of Graph Neural Networks through the Lens of Homomorphism [8.11828056160271]
本稿では,グラフ・ニューラル・ネットワーク(GNN)の一般化を,グラフ準同型のエントロピー解析という新たな視点で研究することを提案する。
グラフ準同型と情報理論測度を結びつけることにより、グラフ分類とノード分類の両方の一般化境界を導出する。
これらの境界は、パス、サイクル、傾きなど、様々なグラフ構造に固有の微妙さを捉えることができる。
論文 参考訳(メタデータ) (2024-03-10T03:51:59Z) - On the Topology Awareness and Generalization Performance of Graph Neural
Networks [7.795558434705472]
我々は,GNNのトポロジ的認識をいかなるトポロジ的特徴においても特徴付けるための包括的枠組みを導入する。
我々の分析は、GNNのトポロジ意識の向上が、構造群全体の不当な一般化を必然的に引き起こす可能性があるという、重要な洞察を明らかにしている。
論文 参考訳(メタデータ) (2024-03-07T13:33:30Z) - Graph Out-of-Distribution Generalization via Causal Intervention [74.77883794668324]
本稿では,ノードレベルの分散シフトの下で頑健なグラフニューラルネットワーク(GNN)をトレーニングするための,概念的に単純だが原則化されたアプローチを提案する。
本手法は,環境推定器と熟練GNN予測器を協調する因果推論に基づく新たな学習目標を提案する。
本モデルでは,様々な分散シフトによる一般化を効果的に向上し,グラフOOD一般化ベンチマーク上での最先端の精度を最大27.4%向上させることができる。
論文 参考訳(メタデータ) (2024-02-18T07:49:22Z) - Investigating Out-of-Distribution Generalization of GNNs: An
Architecture Perspective [45.352741792795186]
グラフ自己アテンション機構と疎結合アーキテクチャはグラフOOD一般化に肯定的に寄与することを示す。
我々は,グラフ自己保持機構と疎結合アーキテクチャの両方の堅牢性を活用するために,新しいGNNバックボーンモデルDGATを開発した。
論文 参考訳(メタデータ) (2024-02-13T05:38:45Z) - Future Directions in Foundations of Graph Machine Learning [49.049992612331685]
グラフ上の機械学習、特にグラフニューラルネットワーク(GNN)を用いた場合、関心が急増している。
その実用的成功にもかかわらず、GNNの特性に関する理論的理解は非常に不完全である。
論文 参考訳(メタデータ) (2024-02-03T22:55:31Z) - On the Expressiveness and Generalization of Hypergraph Neural Networks [77.65788763444877]
この拡張抽象化はハイパーグラフニューラルネットワーク(HyperGNN)の表現性、学習、および(構造的)一般化を分析するためのフレームワークを記述する。
具体的には、HyperGNNが有限データセットからどのように学習し、任意の入力サイズのグラフ推論問題に構造的に一般化するかに焦点を当てる。
論文 参考訳(メタデータ) (2023-03-09T18:42:18Z) - Generalizing Graph Neural Networks on Out-Of-Distribution Graphs [51.33152272781324]
トレーニンググラフとテストグラフの分散シフトを考慮せずにグラフニューラルネットワーク(GNN)を提案する。
このような環境では、GNNは、たとえ素早い相関であるとしても、予測のためのトレーニングセットに存在する微妙な統計的相関を利用する傾向がある。
本稿では,スプリアス相関の影響を排除するため,StableGNNと呼ばれる一般的な因果表現フレームワークを提案する。
論文 参考訳(メタデータ) (2021-11-20T18:57:18Z) - Subgroup Generalization and Fairness of Graph Neural Networks [12.88476464580968]
非IID半教師付き学習環境下でのGNNに対する新しいPAC-Bayesian解析を提案する。
さらに、理論的な観点から、GNNの精度(dis)パリティスタイル(un)フェアネスについて研究する。
論文 参考訳(メタデータ) (2021-06-29T16:13:41Z) - Fast Learning of Graph Neural Networks with Guaranteed Generalizability:
One-hidden-layer Case [93.37576644429578]
グラフニューラルネットワーク(GNN)は、グラフ構造化データから実際に学習する上で、近年大きな進歩を遂げている。
回帰問題と二項分類問題の両方に隠れ層を持つGNNの理論的に基底的な一般化可能性解析を行う。
論文 参考訳(メタデータ) (2020-06-25T00:45:52Z) - Node Masking: Making Graph Neural Networks Generalize and Scale Better [71.51292866945471]
グラフニューラルネットワーク(GNN)は近年,多くの関心を集めている。
本稿では,芸術空間のGNNの状態によって実行される操作をよりよく可視化するために,いくつかの理論ツールを利用する。
私たちはNode Maskingというシンプルなコンセプトを導入しました。
論文 参考訳(メタデータ) (2020-01-17T06:26:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。