論文の概要: A PAC-Bayesian Approach to Generalization Bounds for Graph Neural
Networks
- arxiv url: http://arxiv.org/abs/2012.07690v1
- Date: Mon, 14 Dec 2020 16:41:23 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-08 21:49:44.403150
- Title: A PAC-Bayesian Approach to Generalization Bounds for Graph Neural
Networks
- Title(参考訳): グラフニューラルネットワークの一般化境界に対するPAC-Bayesianアプローチ
- Authors: Renjie Liao, Raquel Urtasun, Richard Zemel
- Abstract要約: グラフニューラルネットワーク(GNN)の2つの一次クラスに対する一般化境界を導出する。
その結果,重みの最大ノード次数とスペクトルノルムが両モデルの一般化境界を規定することが明らかとなった。
- 参考スコア(独自算出の注目度): 99.46182575751271
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we derive generalization bounds for the two primary classes of
graph neural networks (GNNs), namely graph convolutional networks (GCNs) and
message passing GNNs (MPGNNs), via a PAC-Bayesian approach. Our result reveals
that the maximum node degree and spectral norm of the weights govern the
generalization bounds of both models. We also show that our bound for GCNs is a
natural generalization of the results developed in arXiv:1707.09564v2 [cs.LG]
for fully-connected and convolutional neural networks. For message passing
GNNs, our PAC-Bayes bound improves over the Rademacher complexity based bound
in arXiv:2002.06157v1 [cs.LG], showing a tighter dependency on the maximum node
degree and the maximum hidden dimension. The key ingredients of our proofs are
a perturbation analysis of GNNs and the generalization of PAC-Bayes analysis to
non-homogeneous GNNs. We perform an empirical study on several real-world graph
datasets and verify that our PAC-Bayes bound is tighter than others.
- Abstract(参考訳): 本稿では,グラフニューラルネットワーク (GNN) の2つの主要クラス,すなわちグラフ畳み込みネットワーク (GCN) とメッセージパッシングGNN (MPGNN) について,PAC-ベイジアンアプローチを用いて一般化境界を導出する。
その結果,重みの最大ノード次数とスペクトルノルムが両モデルの一般化境界を規定することが明らかとなった。
また,完全連結・畳み込みニューラルネットワークのためのarXiv:1707.09564v2[cs.LG]で開発された結果の自然な一般化であることを示す。
メッセージパッシングgnnでは、pac-bayesバウンドはarxiv:2002.06157v1[cs.lg]のバウンドに基づくrademacher複雑性よりも改善され、最大ノード次数と最大隠れ次元への依存性がより強くなる。
GNNの摂動解析とPAC-Bayes解析の非均一GNNへの一般化である。
いくつかの実世界のグラフデータセットに関する実証的研究を行い、PAC-Bayes境界が他よりも厳密であることを検証した。
関連論文リスト
- Generalization of Graph Neural Networks through the Lens of Homomorphism [8.11828056160271]
本稿では,グラフ・ニューラル・ネットワーク(GNN)の一般化を,グラフ準同型のエントロピー解析という新たな視点で研究することを提案する。
グラフ準同型と情報理論測度を結びつけることにより、グラフ分類とノード分類の両方の一般化境界を導出する。
これらの境界は、パス、サイクル、傾きなど、様々なグラフ構造に固有の微妙さを捉えることができる。
論文 参考訳(メタデータ) (2024-03-10T03:51:59Z) - PAC-Bayesian Adversarially Robust Generalization Bounds for Graph Neural
Network [6.309263693950039]
グラフニューラルネットワーク(GNN)は敵の攻撃に対して脆弱である。
本稿では,2種類の人気GNNに対して,逆向きに頑健な一般化境界を提供する。
論文 参考訳(メタデータ) (2024-02-06T14:34:17Z) - DEGREE: Decomposition Based Explanation For Graph Neural Networks [55.38873296761104]
我々は,GNN予測に対する忠実な説明を提供するためにDGREEを提案する。
GNNの情報生成と集約機構を分解することにより、DECREEは入力グラフの特定のコンポーネントのコントリビューションを最終的な予測に追跡することができる。
また,従来の手法で見過ごされるグラフノード間の複雑な相互作用を明らかにするために,サブグラフレベルの解釈アルゴリズムを設計する。
論文 参考訳(メタデータ) (2023-05-22T10:29:52Z) - Relation Embedding based Graph Neural Networks for Handling
Heterogeneous Graph [58.99478502486377]
我々は、同種GNNが不均一グラフを扱うのに十分な能力を持つように、シンプルで効率的なフレームワークを提案する。
具体的には、エッジ型関係と自己ループ接続の重要性を埋め込むために、関係1つのパラメータのみを使用する関係埋め込みベースのグラフニューラルネットワーク(RE-GNN)を提案する。
論文 参考訳(メタデータ) (2022-09-23T05:24:18Z) - EvenNet: Ignoring Odd-Hop Neighbors Improves Robustness of Graph Neural
Networks [51.42338058718487]
グラフニューラルネットワーク(GNN)は、グラフ機械学習における有望なパフォーマンスについて、広範な研究の注目を集めている。
GCNやGPRGNNのような既存のアプローチは、テストグラフ上のホモフィリな変化に直面しても堅牢ではない。
偶数多項式グラフフィルタに対応するスペクトルGNNであるEvenNetを提案する。
論文 参考訳(メタデータ) (2022-05-27T10:48:14Z) - Hierarchical Message-Passing Graph Neural Networks [12.207978823927386]
本稿では,新しい階層型メッセージパッシンググラフニューラルネットワークフレームワークを提案する。
鍵となるアイデアは、フラットグラフ内のすべてのノードをマルチレベルなスーパーグラフに再編成する階層構造を生成することである。
階層型コミュニティ対応グラフニューラルネットワーク(HC-GNN)と呼ばれる,このフレームワークを実装した最初のモデルを提案する。
論文 参考訳(メタデータ) (2020-09-08T13:11:07Z) - Infinitely Wide Graph Convolutional Networks: Semi-supervised Learning
via Gaussian Processes [144.6048446370369]
グラフ畳み込みニューラルネットワーク(GCN)は近年,グラフに基づく半教師付き半教師付き分類において有望な結果を示した。
グラフに基づく半教師付き学習のためのGCN(GPGC)を用いたGP回帰モデルを提案する。
GPGCを評価するための広範囲な実験を行い、他の最先端手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2020-02-26T10:02:32Z) - Generalization and Representational Limits of Graph Neural Networks [46.20253808402385]
ローカル情報に完全に依存するグラフニューラルネットワーク(GNN)では,いくつかの重要なグラフ特性を計算できないことを示す。
メッセージパッシングGNNに対する最初のデータ依存一般化境界を提供する。
私たちのバウンダリは、既存のVC次元ベースのGNN保証よりもはるかに厳格で、リカレントニューラルネットワークのRademacherバウンダリと同等です。
論文 参考訳(メタデータ) (2020-02-14T18:10:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。