論文の概要: A PAC-Bayesian Approach to Generalization Bounds for Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2012.07690v1
• Date: Mon, 14 Dec 2020 16:41:23 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-08 21:49:44.403150
• Title: A PAC-Bayesian Approach to Generalization Bounds for Graph Neural Networks
• Title（参考訳）: グラフニューラルネットワークの一般化境界に対するPAC-Bayesianアプローチ
• Authors: Renjie Liao, Raquel Urtasun, Richard Zemel
• Abstract要約: グラフニューラルネットワーク(GNN)の2つの一次クラスに対する一般化境界を導出する。 その結果,重みの最大ノード次数とスペクトルノルムが両モデルの一般化境界を規定することが明らかとなった。
• 参考スコア（独自算出の注目度）: 99.46182575751271
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we derive generalization bounds for the two primary classes of graph neural networks (GNNs), namely graph convolutional networks (GCNs) and message passing GNNs (MPGNNs), via a PAC-Bayesian approach. Our result reveals that the maximum node degree and spectral norm of the weights govern the generalization bounds of both models. We also show that our bound for GCNs is a natural generalization of the results developed in arXiv:1707.09564v2 [cs.LG] for fully-connected and convolutional neural networks. For message passing GNNs, our PAC-Bayes bound improves over the Rademacher complexity based bound in arXiv:2002.06157v1 [cs.LG], showing a tighter dependency on the maximum node degree and the maximum hidden dimension. The key ingredients of our proofs are a perturbation analysis of GNNs and the generalization of PAC-Bayes analysis to non-homogeneous GNNs. We perform an empirical study on several real-world graph datasets and verify that our PAC-Bayes bound is tighter than others.
• Abstract（参考訳）: 本稿では,グラフニューラルネットワーク (GNN) の2つの主要クラス,すなわちグラフ畳み込みネットワーク (GCN) とメッセージパッシングGNN (MPGNN) について,PAC-ベイジアンアプローチを用いて一般化境界を導出する。 その結果,重みの最大ノード次数とスペクトルノルムが両モデルの一般化境界を規定することが明らかとなった。 また,完全連結・畳み込みニューラルネットワークのためのarXiv:1707.09564v2[cs.LG]で開発された結果の自然な一般化であることを示す。 メッセージパッシングgnnでは、pac-bayesバウンドはarxiv:2002.06157v1[cs.lg]のバウンドに基づくrademacher複雑性よりも改善され、最大ノード次数と最大隠れ次元への依存性がより強くなる。 GNNの摂動解析とPAC-Bayes解析の非均一GNNへの一般化である。 いくつかの実世界のグラフデータセットに関する実証的研究を行い、PAC-Bayes境界が他よりも厳密であることを検証した。

関連論文リスト

• Generalization of Geometric Graph Neural Networks [84.01980526069075]
  幾何グラフニューラルネットワーク(GNN)の一般化能力について検討する。 我々は,このGNNの最適経験リスクと最適統計リスクとの一般化ギャップを証明した。 最も重要な観察は、前の結果のようにグラフのサイズに制限されるのではなく、1つの大きなグラフで一般化能力を実現することができることである。
  論文  参考訳（メタデータ） (2024-09-08T18:55:57Z)
• A Manifold Perspective on the Statistical Generalization of Graph Neural Networks [84.01980526069075]
  我々は、スペクトル領域の多様体からサンプリングされたグラフ上のGNNの統計的一般化理論を確立するために多様体の視点を取る。 我々はGNNの一般化境界が対数スケールのグラフのサイズとともに線形に減少し、フィルタ関数のスペクトル連続定数とともに線形的に増加することを証明した。
  論文  参考訳（メタデータ） (2024-06-07T19:25:02Z)
• Spatio-Spectral Graph Neural Networks [50.277959544420455]
  比スペクトルグラフネットワーク(S$2$GNN)を提案する。 S$2$GNNは空間的およびスペクトル的にパラメータ化されたグラフフィルタを組み合わせる。 S$2$GNNsは、MPGNNsよりも厳密な近似理論誤差境界を生じる。
  論文  参考訳（メタデータ） (2024-05-29T14:28:08Z)
• PAC-Bayesian Adversarially Robust Generalization Bounds for Graph Neural Network [5.340644246815989]
  グラフニューラルネットワーク(GNN)は敵の攻撃に対して脆弱である。 本稿では,2種類の人気GNNに対して,逆向きに頑健な一般化境界を提供する。
  論文  参考訳（メタデータ） (2024-02-06T14:34:17Z)
• EvenNet: Ignoring Odd-Hop Neighbors Improves Robustness of Graph Neural Networks [51.42338058718487]
  グラフニューラルネットワーク(GNN)は、グラフ機械学習における有望なパフォーマンスについて、広範な研究の注目を集めている。 GCNやGPRGNNのような既存のアプローチは、テストグラフ上のホモフィリな変化に直面しても堅牢ではない。 偶数多項式グラフフィルタに対応するスペクトルGNNであるEvenNetを提案する。
  論文  参考訳（メタデータ） (2022-05-27T10:48:14Z)
• Hierarchical Message-Passing Graph Neural Networks [12.207978823927386]
  本稿では,新しい階層型メッセージパッシンググラフニューラルネットワークフレームワークを提案する。 鍵となるアイデアは、フラットグラフ内のすべてのノードをマルチレベルなスーパーグラフに再編成する階層構造を生成することである。 階層型コミュニティ対応グラフニューラルネットワーク(HC-GNN)と呼ばれる,このフレームワークを実装した最初のモデルを提案する。
  論文  参考訳（メタデータ） (2020-09-08T13:11:07Z)
• Infinitely Wide Graph Convolutional Networks: Semi-supervised Learning via Gaussian Processes [144.6048446370369]
  グラフ畳み込みニューラルネットワーク(GCN)は近年,グラフに基づく半教師付き半教師付き分類において有望な結果を示した。 グラフに基づく半教師付き学習のためのGCN(GPGC)を用いたGP回帰モデルを提案する。 GPGCを評価するための広範囲な実験を行い、他の最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-02-26T10:02:32Z)
• Generalization and Representational Limits of Graph Neural Networks [46.20253808402385]
  ローカル情報に完全に依存するグラフニューラルネットワーク(GNN)では,いくつかの重要なグラフ特性を計算できないことを示す。 メッセージパッシングGNNに対する最初のデータ依存一般化境界を提供する。 私たちのバウンダリは、既存のVC次元ベースのGNN保証よりもはるかに厳格で、リカレントニューラルネットワークのRademacherバウンダリと同等です。
  論文  参考訳（メタデータ） (2020-02-14T18:10:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。