論文の概要: Robustness of Graph Classification: failure modes, causes, and noise-resistant loss in Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2412.08419v1
• Date: Wed, 11 Dec 2024 14:35:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-12 14:01:40.188555
• Title: Robustness of Graph Classification: failure modes, causes, and noise-resistant loss in Graph Neural Networks
• Title（参考訳）: グラフ分類のロバスト性:グラフニューラルネットワークにおける障害モード、原因、耐雑音損失
• Authors: Farooq Ahmad Wani, Maria Sofia Bucarelli, Andrea Giuseppe Di Francesco, Oleksandr Pryymak, Fabrizio Silvestri,
• Abstract要約: グラフニューラルネットワーク(GNN)は、グラフ分類タスクを解くのに強力だが、適用された問題はしばしばノイズの多いラベルを含んでいる。 本稿では,低次グラフの一般化に苦しむモデルにおいて,GNNの雑音に対するロバスト性を検証し,GNNの故障モードを示す。
• 参考スコア（独自算出の注目度）: 18.556227061863904
• License:
• Abstract: Graph Neural Networks (GNNs) are powerful at solving graph classification tasks, yet applied problems often contain noisy labels. In this work, we study GNN robustness to label noise, demonstrate GNN failure modes when models struggle to generalise on low-order graphs, low label coverage, or when a model is over-parameterized. We establish both empirical and theoretical links between GNN robustness and the reduction of the total Dirichlet Energy of learned node representations, which encapsulates the hypothesized GNN smoothness inductive bias. Finally, we introduce two training strategies to enhance GNN robustness: (1) by incorporating a novel inductive bias in the weight matrices through the removal of negative eigenvalues, connected to Dirichlet Energy minimization; (2) by extending to GNNs a loss penalty that promotes learned smoothness. Importantly, neither approach negatively impacts performance in noise-free settings, supporting our hypothesis that the source of GNNs robustness is their smoothness inductive bias.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、グラフ分類タスクを解くのに強力だが、適用された問題はしばしばノイズの多いラベルを含んでいる。 本研究では,低次グラフの一般化に苦しむモデルやラベルカバレッジの低さ,あるいは過パラメータ化の際のGNN障害モードについて検討する。 我々は,GNNのロバスト性と学習ノード表現の総ディリクレエネルギーの減少を両立させ,GNNのスムーズ性誘導バイアスをカプセル化する。 最後に,GNNのロバスト性を高めるための2つのトレーニング戦略を紹介した。(1) 負の固有値の除去によって重み行列に新たな帰納バイアスを組み込むこと,(2) 学習の円滑性を促進する損失ペナルティをGNNに拡張することである。 重要なことは、どちらのアプローチもノイズフリー環境での性能に悪影響を及ぼさず、GNNの頑健さの源は、その滑らかさの帰納バイアスである、という私たちの仮説を支持している。

関連論文リスト

• On Vanishing Gradients, Over-Smoothing, and Over-Squashing in GNNs: Bridging Recurrent and Graph Learning [15.409865070022951]
  グラフニューラルネットワーク(GNN)は、グラフ構造を利用してノード間で情報を伝達するモデルである。 GNNの単純な状態空間の定式化は、余分な訓練可能なパラメータコストを伴わずに、過度な平滑化と過度なスキャッシングを効果的に軽減できることを示す。
  論文  参考訳（メタデータ） (2025-02-15T14:43:41Z)
• A Manifold Perspective on the Statistical Generalization of Graph Neural Networks [84.01980526069075]
  我々は、スペクトル領域の多様体からサンプリングされたグラフ上のGNNの統計的一般化理論を確立するために多様体の視点を取る。 我々はGNNの一般化境界が対数スケールのグラフのサイズとともに線形に減少し、フィルタ関数のスペクトル連続定数とともに線形的に増加することを証明した。
  論文  参考訳（メタデータ） (2024-06-07T19:25:02Z)
• A Simple and Yet Fairly Effective Defense for Graph Neural Networks [18.140756786259615]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データ上での機械学習の主要なアプローチとして登場した。 既存の対向性摂動に対する防御法は、時間的複雑さに悩まされている。 本稿では,ノイズを基礎となるモデルのアーキテクチャに組み込む新しい防御手法であるNoisyGNNを紹介する。
  論文  参考訳（メタデータ） (2024-02-21T18:16:48Z)
• Learning to Reweight for Graph Neural Network [63.978102332612906]
  グラフニューラルネットワーク(GNN)は、グラフタスクに対して有望な結果を示す。 既存のGNNの一般化能力は、テストとトレーニンググラフデータの間に分散シフトが存在する場合に低下する。 本稿では,分布外一般化能力を大幅に向上させる非線形グラフデコリレーション法を提案する。
  論文  参考訳（メタデータ） (2023-12-19T12:25:10Z)
• GNNEvaluator: Evaluating GNN Performance On Unseen Graphs Without Labels [81.93520935479984]
  本稿では,ラベル付きおよび観測されたグラフに基づいて学習した特定のGNNモデルの性能を評価することを目的とした,新しい問題であるGNNモデル評価について検討する。 本稿では,(1) DiscGraph セット構築と(2) GNNEvaluator トレーニングと推論を含む2段階の GNN モデル評価フレームワークを提案する。 DiscGraphセットからの効果的なトレーニング監督の下で、GNNEvaluatorは、評価対象であるGNNモデルのノード分類精度を正確に推定することを学ぶ。
  論文  参考訳（メタデータ） (2023-10-23T05:51:59Z)
• Bregman Graph Neural Network [27.64062763929748]
  ノード分類タスクでは、GNNによって誘導される滑らか化効果は、連結ノードの表現と過剰な均質化ラベルを同化する傾向がある。 本稿では,Bregman 距離の概念に触発された GNN のための新しい二段階最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-12T23:54:24Z)
• Revisiting Robustness in Graph Machine Learning [1.5293427903448025]
  グラフニューラルネットワーク(GNN)のノードレベルの予測は、小さく、しばしば逆数と呼ばれるグラフ構造の変更に対して損なわれないことが、多くの研究で示されている。 本稿では, 意味的内容の変化を意識した, 逆数グラフのより原理的な概念を導入する。 トレーニンググラフのラベル構造をGNNの推論プロセスに含めると、過酷さが著しく減少することがわかった。
  論文  参考訳（メタデータ） (2023-05-01T14:39:55Z)
• CAP: Co-Adversarial Perturbation on Weights and Features for Improving Generalization of Graph Neural Networks [59.692017490560275]
  敵の訓練は、敵の攻撃に対するモデルの堅牢性を改善するために広く実証されてきた。 グラフ解析問題におけるGNNの一般化能力をどのように改善するかは、まだ不明である。 我々は、重みと特徴量の観点から共振器摂動(CAP)最適化問題を構築し、重みと特徴の損失を交互に平らにする交互対振器摂動アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2021-10-28T02:28:13Z)
• Learning to Drop: Robust Graph Neural Network via Topological Denoising [50.81722989898142]
  グラフニューラルネットワーク(GNN)のロバスト性および一般化性能を向上させるために,パラメータ化トポロジカルデノイングネットワークであるPTDNetを提案する。 PTDNetは、パラメータ化されたネットワークでスパーシファイドグラフ内のエッジ数をペナル化することで、タスク非関連エッジを創出する。 PTDNetはGNNの性能を著しく向上させ,さらにノイズの多いデータセットでは性能が向上することを示す。
  論文  参考訳（メタデータ） (2020-11-13T18:53:21Z)
• The Surprising Power of Graph Neural Networks with Random Node Initialization [54.4101931234922]
  グラフニューラルネットワーク(GNN)は、関係データ上での表現学習に有効なモデルである。 標準 GNN はその表現力に制限があり、Weisfeiler-Leman グラフ同型(英語版)の能力以外の区別はできない。 本研究では,ランダムノード(RNI)を用いたGNNの表現力の解析を行う。 我々はこれらのモデルが普遍的であることを証明し、GNNが高次特性の計算に頼らない最初の結果である。
  論文  参考訳（メタデータ） (2020-10-02T19:53:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。