論文の概要: A Manifold Perspective on the Statistical Generalization of Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2406.05225v5
• Date: Tue, 12 Nov 2024 15:05:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-13 13:18:45.408261
• Title: A Manifold Perspective on the Statistical Generalization of Graph Neural Networks
• Title（参考訳）: グラフニューラルネットワークの統計的一般化に関する多様体的考察
• Authors: Zhiyang Wang, Juan Cervino, Alejandro Ribeiro,
• Abstract要約: 我々は、スペクトル領域の多様体からサンプリングされたグラフ上のGNNの統計的一般化理論を確立するために多様体の視点を取る。 我々はGNNの一般化境界が対数スケールのグラフのサイズとともに線形に減少し、フィルタ関数のスペクトル連続定数とともに線形的に増加することを証明した。
• 参考スコア（独自算出の注目度）: 84.01980526069075
• License:
• Abstract: Graph Neural Networks (GNNs) extend convolutional neural networks to operate on graphs. Despite their impressive performances in various graph learning tasks, the theoretical understanding of their generalization capability is still lacking. Previous GNN generalization bounds ignore the underlying graph structures, often leading to bounds that increase with the number of nodes -- a behavior contrary to the one experienced in practice. In this paper, we take a manifold perspective to establish the statistical generalization theory of GNNs on graphs sampled from a manifold in the spectral domain. As demonstrated empirically, we prove that the generalization bounds of GNNs decrease linearly with the size of the graphs in the logarithmic scale, and increase linearly with the spectral continuity constants of the filter functions. Notably, our theory explains both node-level and graph-level tasks. Our result has two implications: i) guaranteeing the generalization of GNNs to unseen data over manifolds; ii) providing insights into the practical design of GNNs, i.e., restrictions on the discriminability of GNNs are necessary to obtain a better generalization performance. We demonstrate our generalization bounds of GNNs using synthetic and multiple real-world datasets.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、畳み込みニューラルネットワークを拡張してグラフを操作する。 様々なグラフ学習タスクにおける印象的な性能にもかかわらず、それらの一般化能力に関する理論的理解はいまだに不足している。 以前のGNNの一般化境界は、基礎となるグラフ構造を無視し、多くの場合、ノードの数の増加に伴って増加するバウンダリに繋がる。 本稿では、スペクトル領域の多様体からサンプリングされたグラフ上のGNNの統計的一般化理論を確立するために、多様体の視点を採る。 経験的に示すように、GNNの一般化境界は対数スケールのグラフのサイズとともに線形に減少し、フィルタ関数のスペクトル連続定数とともに線形に増加することが証明される。 特に、我々の理論はノードレベルとグラフレベルの両方のタスクを説明する。 私たちの結果は2つの意味を持つ。 一 多様体上のデータを目にしないようGNNの一般化を保証すること。 二 より優れた一般化性能を得るためには、GNNの実用設計に関する洞察を提供すること、すなわち、GNNの識別可能性の制限が必要である。 合成および複数の実世界のデータセットを用いてGNNの一般化境界を示す。

関連論文リスト

• Higher-Order GNNs Meet Efficiency: Sparse Sobolev Graph Neural Networks [6.080095317098909]
  グラフニューラルネットワーク(GNN)は,グラフ内のノード間の関係をモデル化する上で,非常に有望であることを示す。 これまでの研究では、主にグラフ内の高次隣人からの情報を活用しようと試みてきた。 我々は基本的な観察を行い、ラプラシア行列の正則とアダマールの力はスペクトルでも同様に振る舞う。 グラフ信号のスパースなソボレフノルムに基づく新しいグラフ畳み込み演算子を提案する。
  論文  参考訳（メタデータ） (2024-11-07T09:53:11Z)
• Graph neural networks and non-commuting operators [4.912318087940015]
  我々は,グラフトン・タプルニューラルネットワークの極限理論を開発し,それを普遍的な伝達可能性定理の証明に利用する。 我々の理論的結果は、GNNのよく知られた移動可能性定理を、複数の同時グラフの場合にまで拡張する。 得られたモデルの安定性を確実に実施する訓練手順を導出する。
  論文  参考訳（メタデータ） (2024-11-06T21:17:14Z)
• Generalization of Geometric Graph Neural Networks [84.01980526069075]
  幾何グラフニューラルネットワーク(GNN)の一般化能力について検討する。 我々は,このGNNの最適経験リスクと最適統計リスクとの一般化ギャップを証明した。 最も重要な観察は、前の結果のようにグラフのサイズに制限されるのではなく、1つの大きなグラフで一般化能力を実現することができることである。
  論文  参考訳（メタデータ） (2024-09-08T18:55:57Z)
• Generalization of Graph Neural Networks is Robust to Model Mismatch [84.01980526069075]
  グラフニューラルネットワーク(GNN)は、その一般化能力によってサポートされている様々なタスクにおいて、その効果を実証している。 本稿では,多様体モデルから生成される幾何グラフで動作するGNNについて検討する。 本稿では,そのようなモデルミスマッチの存在下でのGNN一般化の堅牢性を明らかにする。
  論文  参考訳（メタデータ） (2024-08-25T16:00:44Z)
• What functions can Graph Neural Networks compute on random graphs? The role of Positional Encoding [0.0]
  我々は,グラフニューラルネットワーク(GNN)の大規模グラフに対する理論的理解を深めることを目指しており,その表現力に着目している。 近年、GNNは、非常に一般的なランダムグラフモデルにおいて、ノード数が増加するにつれて、特定の関数に収束することを示した。
  論文  参考訳（メタデータ） (2023-05-24T07:09:53Z)
• Towards Better Generalization with Flexible Representation of Multi-Module Graph Neural Networks [0.27195102129094995]
  ランダムグラフ生成器を用いて,グラフサイズと構造特性がGNNの予測性能に与える影響について検討する。 本稿では,GNNが未知のグラフに一般化できるかどうかを決定する上で,平均ノード次数が重要な特徴であることを示す。 集約された入力に対して単一の正準非線形変換を一般化することにより、ネットワークが新しいグラフに柔軟に対応可能なマルチモジュールGNNフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-09-14T12:13:59Z)
• MentorGNN: Deriving Curriculum for Pre-Training GNNs [61.97574489259085]
  本稿では,グラフ間のGNNの事前学習プロセスの監視を目的とした,MentorGNNというエンドツーエンドモデルを提案する。 我々は、事前学習したGNNの一般化誤差に自然かつ解釈可能な上限を導出することにより、関係データ(グラフ)に対するドメイン適応の問題に新たな光を当てた。
  論文  参考訳（メタデータ） (2022-08-21T15:12:08Z)
• Optimization and Generalization Analysis of Transduction through Gradient Boosting and Application to Multi-scale Graph Neural Networks [60.22494363676747]
  現在のグラフニューラルネットワーク(GNN)は、オーバースムーシング(over-smoothing)と呼ばれる問題のため、自分自身を深くするのは難しいことが知られている。 マルチスケールGNNは、オーバースムーシング問題を緩和するための有望なアプローチである。 マルチスケールGNNを含むトランスダクティブ学習アルゴリズムの最適化と一般化を保証する。
  論文  参考訳（メタデータ） (2020-06-15T17:06:17Z)
• Eigen-GNN: A Graph Structure Preserving Plug-in for GNNs [95.63153473559865]
  グラフニューラルネットワーク(GNN)は、グラフ上の新たな機械学習モデルである。 既存のGNNモデルの多くは浅く、本質的に機能中心である。 我々は,既存の浅いGNNがグラフ構造をよく保存できないことを経験的かつ解析的に示す。 本稿では,グラフ構造保存におけるGNNの能力を高めるプラグインモジュールであるEigen-GNNを提案する。
  論文  参考訳（メタデータ） (2020-06-08T02:47:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。