論文の概要: A Manifold Perspective on the Statistical Generalization of Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2406.05225v5
• Date: Tue, 12 Nov 2024 15:05:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-13 13:18:45.408261
• Title: A Manifold Perspective on the Statistical Generalization of Graph Neural Networks
• Title（参考訳）: グラフニューラルネットワークの統計的一般化に関する多様体的考察
• Authors: Zhiyang Wang, Juan Cervino, Alejandro Ribeiro,
• Abstract要約: 我々は、スペクトル領域の多様体からサンプリングされたグラフ上のGNNの統計的一般化理論を確立するために多様体の視点を取る。 我々はGNNの一般化境界が対数スケールのグラフのサイズとともに線形に減少し、フィルタ関数のスペクトル連続定数とともに線形的に増加することを証明した。
• 参考スコア（独自算出の注目度）: 84.01980526069075
• License:
• Abstract: Graph Neural Networks (GNNs) extend convolutional neural networks to operate on graphs. Despite their impressive performances in various graph learning tasks, the theoretical understanding of their generalization capability is still lacking. Previous GNN generalization bounds ignore the underlying graph structures, often leading to bounds that increase with the number of nodes -- a behavior contrary to the one experienced in practice. In this paper, we take a manifold perspective to establish the statistical generalization theory of GNNs on graphs sampled from a manifold in the spectral domain. As demonstrated empirically, we prove that the generalization bounds of GNNs decrease linearly with the size of the graphs in the logarithmic scale, and increase linearly with the spectral continuity constants of the filter functions. Notably, our theory explains both node-level and graph-level tasks. Our result has two implications: i) guaranteeing the generalization of GNNs to unseen data over manifolds; ii) providing insights into the practical design of GNNs, i.e., restrictions on the discriminability of GNNs are necessary to obtain a better generalization performance. We demonstrate our generalization bounds of GNNs using synthetic and multiple real-world datasets.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、畳み込みニューラルネットワークを拡張してグラフを操作する。 様々なグラフ学習タスクにおける印象的な性能にもかかわらず、それらの一般化能力に関する理論的理解はいまだに不足している。 以前のGNNの一般化境界は、基礎となるグラフ構造を無視し、多くの場合、ノードの数の増加に伴って増加するバウンダリに繋がる。 本稿では、スペクトル領域の多様体からサンプリングされたグラフ上のGNNの統計的一般化理論を確立するために、多様体の視点を採る。 経験的に示すように、GNNの一般化境界は対数スケールのグラフのサイズとともに線形に減少し、フィルタ関数のスペクトル連続定数とともに線形に増加することが証明される。 特に、我々の理論はノードレベルとグラフレベルの両方のタスクを説明する。 私たちの結果は2つの意味を持つ。 一 多様体上のデータを目にしないようGNNの一般化を保証すること。 二 より優れた一般化性能を得るためには、GNNの実用設計に関する洞察を提供すること、すなわち、GNNの識別可能性の制限が必要である。 合成および複数の実世界のデータセットを用いてGNNの一般化境界を示す。

関連論文リスト

• Graph neural networks and non-commuting operators [4.912318087940015]
  我々は,グラフトン・タプルニューラルネットワークの極限理論を開発し,それを普遍的な伝達可能性定理の証明に利用する。 我々の理論的結果は、GNNのよく知られた移動可能性定理を、複数の同時グラフの場合にまで拡張する。 得られたモデルの安定性を確実に実施する訓練手順を導出する。
  論文  参考訳（メタデータ） (2024-11-06T21:17:14Z)
• Generalization of Geometric Graph Neural Networks [84.01980526069075]
  幾何グラフニューラルネットワーク(GNN)の一般化能力について検討する。 我々は,このGNNの最適経験リスクと最適統計リスクとの一般化ギャップを証明した。 最も重要な観察は、前の結果のようにグラフのサイズに制限されるのではなく、1つの大きなグラフで一般化能力を実現することができることである。
  論文  参考訳（メタデータ） (2024-09-08T18:55:57Z)
• Towards Better Generalization with Flexible Representation of Multi-Module Graph Neural Networks [0.27195102129094995]
  ランダムグラフ生成器を用いて,グラフサイズと構造特性がGNNの予測性能に与える影響について検討する。 本稿では,GNNが未知のグラフに一般化できるかどうかを決定する上で,平均ノード次数が重要な特徴であることを示す。 集約された入力に対して単一の正準非線形変換を一般化することにより、ネットワークが新しいグラフに柔軟に対応可能なマルチモジュールGNNフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-09-14T12:13:59Z)
• MentorGNN: Deriving Curriculum for Pre-Training GNNs [61.97574489259085]
  本稿では,グラフ間のGNNの事前学習プロセスの監視を目的とした,MentorGNNというエンドツーエンドモデルを提案する。 我々は、事前学習したGNNの一般化誤差に自然かつ解釈可能な上限を導出することにより、関係データ(グラフ)に対するドメイン適応の問題に新たな光を当てた。
  論文  参考訳（メタデータ） (2022-08-21T15:12:08Z)
• Distribution Preserving Graph Representation Learning [11.340722297341788]
  グラフニューラルネットワーク(GNN)は、ノードとグラフ全体の分散表現のためのグラフをモデル化するのに有効である。 本稿では,表現型GNNモデルの一般化性を向上させるGNNフレームワークとして,分散保存GNN(DP-GNN)を提案する。 提案するDP-GNNフレームワークを,グラフ分類タスクのための複数のベンチマークデータセット上で評価する。
  論文  参考訳（メタデータ） (2022-02-27T19:16:26Z)
• Graph Neural Networks for Graphs with Heterophily: A Survey [98.45621222357397]
  異種グラフに対するグラフニューラルネットワーク(GNN)の総合的なレビューを提供する。 具体的には,既存の異好性GNNモデルを本質的に支配する系統分類法を提案する。 グラフヘテロフィリーと様々なグラフ研究領域の相関を議論し、より効果的なGNNの開発を促進することを目的とした。
  論文  参考訳（メタデータ） (2022-02-14T23:07:47Z)
• A Unified View on Graph Neural Networks as Graph Signal Denoising [49.980783124401555]
  グラフニューラルネットワーク(GNN)は,グラフ構造化データの学習表現において顕著に普及している。 本研究では,代表的GNNモデル群における集約過程を,グラフ記述問題の解法とみなすことができることを数学的に確立する。 UGNNから派生した新しいGNNモデルADA-UGNNをインスタンス化し、ノード間の適応的滑らかさでグラフを処理する。
  論文  参考訳（メタデータ） (2020-10-05T04:57:18Z)
• Expressive Power of Invariant and Equivariant Graph Neural Networks [10.419350129060598]
  Folklore Graph Neural Networks (FGNN) は、与えられたテンソル次数に対してこれまで提案されてきた最も表現力のあるアーキテクチャである。 FGNNはこの問題の解決方法を学ぶことができ、既存のアルゴリズムよりも平均的なパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2020-06-28T16:35:45Z)
• XGNN: Towards Model-Level Explanations of Graph Neural Networks [113.51160387804484]
  グラフニューラルネットワーク(GNN)は、隣の情報を集約して組み合わせることでノードの特徴を学習する。 GNNはブラックボックスとして扱われ、人間の知的な説明が欠けている。 我々はモデルレベルでGNNを解釈する新しい手法 XGNN を提案する。
  論文  参考訳（メタデータ） (2020-06-03T23:52:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。