論文の概要: PAC-Bayesian Adversarially Robust Generalization for Message Passing Graph Neural Networks: A Sensitivity Analysis

• arxiv url: http://arxiv.org/abs/2606.06293v1
• Date: Thu, 04 Jun 2026 15:31:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-05 22:39:44.905774
• Title: PAC-Bayesian Adversarially Robust Generalization for Message Passing Graph Neural Networks: A Sensitivity Analysis
• Title（参考訳）: PAC-Bayesian Adversarially Robust Generalization for Message Passing Graph Neural Networks: A Sensitivity Analysis
• Authors: Ziling Liang, Xinping Yi, Qingsong Wen, Shi Jin,
• Abstract要約: PAC-BayesianフレームワークをディープニューラルネットワークからメッセージパッシングGNNまで拡張する。 我々は、対向的な設定でより強固な一般化を導出する。
• 参考スコア（独自算出の注目度）: 80.64607823130437
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Whilst the vulnerability of graph neural networks (GNNs) to adversarial attacks poses a critical threat to graph representation learning, the understanding of the robust generalization behavior remains a fundamental challenge in the adversarial setting. Recently, PAC-Bayesian margin-based generalization analysis substantially advances this line of research by providing a flexible and data-dependent analytical framework. However, existing robust analyses often rely on isotropic Gaussian posteriors and control weight perturbations in the full parameter space, which limits the ability to capture heterogeneous parameter sensitivity yet hinges on hidden-width-dependent complexity terms, resulting in not-tight-enough generalization bounds. In this paper, we extend a recently proposed sensitivity-aware PAC-Bayesian framework from deep neural networks to message passing GNNs (MPGNNs) and derive a tighter robust generalization bound in the adversarial setting. Specifically, we first quantify how sensitive the perturbations across different parameter blocks are to the network outputs by deriving the output Jacobians with respect to the weight parameters. Exploiting the fact that these Jacobian matrices have rank at most $K$ in $K$-class graph classification, we then construct Jacobian-aligned sensitivity matrices and use anisotropic Gaussian posteriors with optimized covariances to upper bound the KL divergence in a tight way. Notably, by refining the spectral-norm dependence on the learned weights and reducing the leading dimension factor from hidden-width-dependent terms to the number of classes $K$, our analysis yields much tighter robust generalization guarantees for MPGNNs, thereby guiding their designs to enhance adversarial robustness.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)の敵攻撃に対する脆弱性は、グラフ表現学習に重大な脅威をもたらすが、堅牢な一般化行動の理解は、敵の設定における根本的な課題である。 近年、PAC-ベイジアン・マージンに基づく一般化分析は、フレキシブルでデータに依存した分析フレームワークを提供することで、この研究の行を著しく前進させている。 しかし、既存のロバスト解析は、しばしば全パラメータ空間における等方的ガウス後部と制御ウェイト摂動に頼っており、これは隠れ幅依存的な複雑性項に依存しない不均一なパラメータの感度を捉える能力に制限され、その結果、密接な一般化境界が生じる。 本稿では、近年提案された感度対応のPAC-Bayesianフレームワークを、深層ニューラルネットワークからメッセージパッシングGNN(MPGNN)に拡張し、対向的な設定に縛られたより強固な一般化を導出する。 具体的には、重みパラメータに関して出力ジャコビアンを導出することにより、異なるパラメータブロック間での摂動がネットワーク出力にどれほど敏感であるかを定量化する。 これらのヤコビ行列が$K$クラスのグラフ分類において最高$K$のランクを持つという事実を露呈し、ヤコビアン整列感性行列を構築し、KL の発散を強に有界に最適化した共分散を持つ異方性ガウス後続行列を使用する。 特に,学習重みに対するスペクトルノルム依存性を補正し,先行次元因子を隠れ幅依存項からクラス数$K$まで減少させることで,MPGNNに対するより厳密な一般化保証が得られる。

関連論文リスト

• Topology-Aware PAC-Bayesian Generalization Analysis for Graph Neural Networks [21.139538521229273]
  グラフ畳み込みネットワーク(GCN)のための位相対応PAC-Bayesianノルムに基づく一般化フレームワークを提案する。 空間的およびスペクトル的な視点から、感度行列の異なる構造を付与することにより、グラフ構造が埋め込まれた一般化誤差の族を導出する。 特に,提案フレームワークはグラフ構造特性を一般化解析に明示的に統合し,GNN一般化挙動の統一検査を可能にする。
  論文  参考訳（メタデータ） (2026-04-12T09:52:27Z)
• Stability and Generalization of Push-Sum Based Decentralized Optimization over Directed Graphs [55.77845440440496]
  プッシュベースの分散通信は、情報交換が非対称である可能性のある通信ネットワークの最適化を可能にする。 我々は、グラディエント・プッシュ(SGP)アルゴリズムのための統一的な一様安定性フレームワークを開発する。 重要な技術的要素は、2つの量に束縛された不均衡認識の一般化である。
  論文  参考訳（メタデータ） (2026-02-24T05:32:03Z)
• Towards A Unified PAC-Bayesian Framework for Norm-based Generalization Bounds [63.47271262149291]
  PAC-Bayesianノルムに基づく一般化のための統一的なフレームワークを提案する。 提案手法の鍵となるのは、構造的重み摂動に関してネットワーク出力を定量化する感度行列である。 我々は、いくつかの既存のPAC-ベイジアン結果を特殊ケースとして回復する一般化境界の族を導出する。
  論文  参考訳（メタデータ） (2026-01-13T00:42:22Z)
• Sheaf Graph Neural Networks via PAC-Bayes Spectral Optimization [13.021238902084647]
  グラフニューラルネットワーク(GNN)のオーバースムース化は、異なるノード機能で崩壊を引き起こす。 SGPC (Sheaf GNNs with PAC-Bayes) は,セルラーシェーフメッセージパッシングと複数のメカニズムを組み合わせた統一アーキテクチャである。 9つのホモ親和性およびヘテロ親和性ベンチマークの実験により、SGPCは最先端スペクトルおよび層ベースGNNよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2025-08-01T06:39:28Z)
• Neural Characteristic Activation Analysis and Geometric Parameterization for ReLU Networks [2.2713084727838115]
  本稿では,個々のニューロンの特徴的活性化境界を調べることによって,ReLUネットワークのトレーニングダイナミクスを解析するための新しいアプローチを提案する。 提案手法は,コンバージェンス最適化におけるニューラルネットワークのパラメータ化と正規化において重要な不安定性を示し,高速収束を阻害し,性能を損なう。
  論文  参考訳（メタデータ） (2023-05-25T10:19:13Z)
• Out-of-distributional risk bounds for neural operators with applications to the Helmholtz equation [6.296104145657063]
  既存のニューラル演算子(NO)は、全ての物理問題に対して必ずしもうまく機能しない。 非線形作用素の波動速度を解にマッピングする実験的な近似を可能にするNOのサブファミリーを提案する。 本実験は, 深度導入の一般化と関連性において, ある種のサプライズを明らかにするものである。 我々は、NOsのサブファミリーのハイパーネットワークバージョンを、前述のフォワード演算子のサロゲートモデルとして提案することで結論付ける。
  論文  参考訳（メタデータ） (2023-01-27T03:02:12Z)
• Stability and Generalization Analysis of Gradient Methods for Shallow Neural Networks [59.142826407441106]
  本稿では,アルゴリズム安定性の概念を活用して,浅層ニューラルネットワーク(SNN)の一般化挙動について検討する。 我々は、SNNを訓練するために勾配降下(GD)と勾配降下(SGD)を考慮する。
  論文  参考訳（メタデータ） (2022-09-19T18:48:00Z)
• A PAC-Bayesian Approach to Generalization Bounds for Graph Neural Networks [99.46182575751271]
  グラフニューラルネットワーク(GNN)の2つの一次クラスに対する一般化境界を導出する。 その結果,重みの最大ノード次数とスペクトルノルムが両モデルの一般化境界を規定することが明らかとなった。
  論文  参考訳（メタデータ） (2020-12-14T16:41:23Z)
• Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
  圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。 本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
  論文  参考訳（メタデータ） (2020-01-14T22:26:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。