論文の概要: Generalization in Graph Neural Networks: Improved PAC-Bayesian Bounds on Graph Diffusion

• arxiv url: http://arxiv.org/abs/2302.04451v3
• Date: Mon, 23 Oct 2023 21:37:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-26 01:32:45.270200
• Title: Generalization in Graph Neural Networks: Improved PAC-Bayesian Bounds on Graph Diffusion
• Title（参考訳）: グラフニューラルネットワークの一般化:グラフ拡散によるPAC-Bayesian境界の改善
• Authors: Haotian Ju, Dongyue Li, Aneesh Sharma, and Hongyang R. Zhang
• Abstract要約: 本稿では,グラフニューラルネットワークの特徴拡散行列の最大特異値でスケールする一般化境界について述べる。 これらの境界は実世界のグラフの以前の境界よりも数値的にはるかに小さい。 ヘッセン語を用いた雑音摂動に対するグラフニューラルネットワークの安定性を測定する。
• 参考スコア（独自算出の注目度）: 17.70434437597516
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graph neural networks are widely used tools for graph prediction tasks. Motivated by their empirical performance, prior works have developed generalization bounds for graph neural networks, which scale with graph structures in terms of the maximum degree. In this paper, we present generalization bounds that instead scale with the largest singular value of the graph neural network's feature diffusion matrix. These bounds are numerically much smaller than prior bounds for real-world graphs. We also construct a lower bound of the generalization gap that matches our upper bound asymptotically. To achieve these results, we analyze a unified model that includes prior works' settings (i.e., convolutional and message-passing networks) and new settings (i.e., graph isomorphism networks). Our key idea is to measure the stability of graph neural networks against noise perturbations using Hessians. Empirically, we find that Hessian-based measurements correlate with the observed generalization gaps of graph neural networks accurately. Optimizing noise stability properties for fine-tuning pretrained graph neural networks also improves test performance on several graph-level classification tasks.
• Abstract（参考訳）: グラフニューラルネットワークは、グラフ予測タスクに広く使われている。 経験的性能に動機づけられた先行研究は、最大次数の観点からグラフ構造にスケールするグラフニューラルネットワークの一般化境界を開発した。 本稿では,グラフニューラルネットワークの特徴拡散行列の最大特異値に代えてスケールする一般化境界を提案する。 これらの境界は実世界のグラフの事前境界よりも数値的に小さい。 我々はまた、上界漸近的に一致する一般化ギャップの下界を構成する。 これらの結果を達成するために,先行作業の設定(畳み込みネットワークとメッセージパッシングネットワーク)と新たな設定(グラフ同型ネットワーク)を含む統一モデルを分析する。 我々のキーとなる考え方は、ヘシアンを用いたノイズ摂動に対するグラフニューラルネットワークの安定性を測定することである。 実験により,Hessianによる測定は,観測されたグラフニューラルネットワークの一般化ギャップと相関することがわかった。 微調整済みグラフニューラルネットワークの雑音安定性特性の最適化も、グラフレベルの分類タスクにおけるテスト性能を向上させる。

関連論文リスト

• Generalization Error of Graph Neural Networks in the Mean-field Regime [10.35214360391282]
  グラフ畳み込みニューラルネットワークとメッセージパッシンググラフニューラルネットワークという,広く利用されている2種類のグラフニューラルネットワークについて検討する。 我々の新しいアプローチは、これらのグラフニューラルネットワークの一般化誤差を評価する平均場内上限を導出することである。
  論文  参考訳（メタデータ） (2024-02-10T19:12:31Z)
• Learning Graph Structure from Convolutional Mixtures [119.45320143101381]
  本稿では、観測されたグラフと潜伏グラフのグラフ畳み込み関係を提案し、グラフ学習タスクをネットワーク逆(デコンボリューション)問題として定式化する。 固有分解に基づくスペクトル法の代わりに、近似勾配反復をアンロール・トランケートして、グラフデコンボリューションネットワーク(GDN)と呼ばれるパラメータ化ニューラルネットワークアーキテクチャに到達させる。 GDNは、教師付き方式でグラフの分布を学習し、損失関数を適応させることでリンク予測やエッジウェイト回帰タスクを実行し、本質的に帰納的である。
  論文  参考訳（メタデータ） (2022-05-19T14:08:15Z)
• Optimal Propagation for Graph Neural Networks [51.08426265813481]
  最適グラフ構造を学習するための二段階最適化手法を提案する。 また、時間的複雑さをさらに軽減するために、低ランク近似モデルについても検討する。
  論文  参考訳（メタデータ） (2022-05-06T03:37:00Z)
• SpeqNets: Sparsity-aware Permutation-equivariant Graph Networks [16.14454388348814]
  我々は、普遍的、置換同変グラフネットワークのクラスを示す。 それらは表現性とスケーラビリティのきめ細かい制御を提供し、グラフの幅に適応する。 これらのアーキテクチャにより、標準的な高階グラフネットワークに比べて計算時間が大幅に短縮される。
  論文  参考訳（メタデータ） (2022-03-25T21:17:09Z)
• Hyperbolic Graph Neural Networks: A Review of Methods and Applications [55.5502008501764]
  グラフニューラルネットワークは、従来のニューラルネットワークをグラフ構造化データに一般化する。 グラフ関連学習におけるユークリッドモデルの性能は、ユークリッド幾何学の表現能力によって依然として制限されている。 近年,木のような構造を持つグラフデータ処理や,ゆるい分布の処理において,双曲空間が人気が高まっている。
  論文  参考訳（メタデータ） (2022-02-28T15:08:48Z)
• How Neural Processes Improve Graph Link Prediction [35.652234989200956]
  リンク予測のためのグラフニューラルネットワークを用いたメタラーニング手法:グラフニューラルネットワークのためのニューラルプロセス(NPGNN)を提案する。 NPGNNは、トランスダクティブな学習タスクとインダクティブな学習タスクの両方を実行し、小さなサブグラフでトレーニングした後、大きな新しいグラフのパターンに適応することができる。
  論文  参考訳（メタデータ） (2021-09-30T07:35:13Z)
• Increase and Conquer: Training Graph Neural Networks on Growing Graphs [116.03137405192356]
  本稿では,このグラフからBernoulliをサンプリングしたグラフ上でGNNをトレーニングすることで,WNN(Graphon Neural Network)を学習する問題を考察する。 これらの結果から着想を得た大規模グラフ上でGNNを学習するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-07T15:05:59Z)
• Towards Deeper Graph Neural Networks [63.46470695525957]
  グラフ畳み込みは近傍の集約を行い、最も重要なグラフ操作の1つである。 いくつかの最近の研究で、この性能劣化は過度に滑らかな問題に起因している。 本研究では,大きな受容領域からの情報を適応的に組み込むディープ適応グラフニューラルネットワーク(DAGNN)を提案する。
  論文  参考訳（メタデータ） (2020-07-18T01:11:14Z)
• Graph Structure of Neural Networks [104.33754950606298]
  ニューラルネットワークのグラフ構造が予測性能にどのように影響するかを示す。 リレーショナルグラフの"スイートスポット"は、予測性能を大幅に改善したニューラルネットワークにつながる。 トップパフォーマンスニューラルネットワークは、実際の生物学的ニューラルネットワークと驚くほどよく似たグラフ構造を持つ。
  論文  参考訳（メタデータ） (2020-07-13T17:59:31Z)
• A Note on Over-Smoothing for Graph Neural Networks [13.008323851750442]
  我々は、一般的なグラフニューラルネットワークアーキテクチャにおけるオーバースムーシング効果を分析するために、以前の結果であるciteoono 2019graphに基づいて構築する。 重み行列が拡張正規化ラプラシアンのスペクトルによって決定される条件を満たすとき、埋め込みのディリクレエネルギーは 0 に収束し、判別力を失う。
  論文  参考訳（メタデータ） (2020-06-23T20:36:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。