論文の概要: Size Generalization of Graph Neural Networks on Biological Data: Insights and Practices from the Spectral Perspective

• arxiv url: http://arxiv.org/abs/2305.15611v2
• Date: Fri, 29 Sep 2023 21:51:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-03 14:31:41.902349
• Title: Size Generalization of Graph Neural Networks on Biological Data: Insights and Practices from the Spectral Perspective
• Title（参考訳）: 生物学的データを用いたグラフニューラルネットワークのサイズ一般化:スペクトルの観点からの考察と実践
• Authors: Yujun Yan, Gaotang Li, Danai koutra
• Abstract要約: 我々は,GNNに重要なサブグラフパターンを認識させ,そのサイズを一般化する3つのモデルに依存しない戦略を紹介し,比較する。 その結果、全ての戦略がGNNの最大化可能性を高め、最も効果的な方法として、単純で大きさに敏感な注意が驚くほど浮かび上がっていることが明らかとなった。
• 参考スコア（独自算出の注目度）: 16.01608638659267
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We investigate size-induced distribution shifts in graphs and assess their impact on the ability of graph neural networks (GNNs) to generalize to larger graphs relative to the training data. Existing literature presents conflicting conclusions on GNNs' size generalizability, primarily due to disparities in application domains and underlying assumptions concerning size-induced distribution shifts. Motivated by this, we take a data-driven approach: we focus on real biological datasets and seek to characterize the types of size-induced distribution shifts. Diverging from prior approaches, we adopt a spectral perspective and identify that spectrum differences induced by size are related to differences in subgraph patterns (e.g., average cycle lengths). We further find that common GNNs cannot capture these subgraph patterns, resulting in performance decline when testing on larger graphs. Based on these spectral insights, we introduce and compare three model-agnostic strategies aimed at making GNNs aware of important subgraph patterns to enhance their size generalizability: self-supervision, augmentation, and size-insensitive attention. Our empirical results reveal that all strategies enhance GNNs' size generalizability, with simple size-insensitive attention surprisingly emerging as the most effective method. Notably, this strategy substantially enhances graph classification performance on large test graphs, which are 2-10 times larger than the training graphs, resulting in an improvement in F1 scores by up to 8%.
• Abstract（参考訳）: 本研究では,グラフの大きさによる分布変化を調査し,その学習データに対するグラフニューラルネットワーク(gnns)の一般化能力に与える影響を評価する。 既存の文献では、gnnのサイズ汎化可能性について、主にアプリケーションドメインの相違とサイズ誘起分布シフトに関する基礎的な仮定によって、矛盾する結論を示している。 私たちは実際の生物学的データセットに注目し、サイズによって引き起こされる分散シフトのタイプを特徴付けることを求めます。 従来のアプローチと異なり、スペクトルの視点を採用し、サイズによって引き起こされるスペクトル差がサブグラフパターン(例えば、平均サイクル長)の違いと関係していることを明らかにする。 さらに、一般的なgnnはこれらのサブグラフパターンをキャプチャできないことが分かり、より大きなグラフでテストするとパフォーマンスが低下する。 これらのスペクトラルな洞察に基づいて,gnnに重要なサブグラフパターンを認識させ,そのサイズ一般化可能性を高めるための3つのモデル非依存戦略,すなわち自己スーパービジョン,拡張,サイズ非敏感な注意を導入し,比較する。 実験の結果,すべての戦略がgnnのサイズ一般化性を高め,最も効果的な手法として,単純なサイズ非感受性の注意が驚くほど現れていることが明らかとなった。 特に、この戦略は、トレーニンググラフよりも2～10倍大きい大規模なテストグラフ上でのグラフ分類性能を大幅に向上させ、F1スコアを最大8%向上させる。

関連論文リスト

• A Manifold Perspective on the Statistical Generalization of Graph Neural Networks [84.01980526069075]
  我々は、スペクトル領域の多様体からサンプリングされたグラフ上のGNNの統計的一般化理論を確立するために多様体の視点を取る。 我々はGNNの一般化境界が対数スケールのグラフのサイズとともに線形に減少し、フィルタ関数のスペクトル連続定数とともに線形的に増加することを証明した。
  論文  参考訳（メタデータ） (2024-06-07T19:25:02Z)
• Enhancing Size Generalization in Graph Neural Networks through Disentangled Representation Learning [7.448831299106425]
  DISGENは、グラフ表現からサイズ因子をアンタングルするために設計された、モデルに依存しないフレームワークである。 実験の結果, DISGENは実世界のデータセットにおいて, 最先端のモデルよりも最大6%優れていた。
  論文  参考訳（メタデータ） (2024-06-07T03:19:24Z)
• Towards Causal Classification: A Comprehensive Study on Graph Neural Networks [9.360596957822471]
  グラフ構造化データを処理するグラフニューラルネットワーク(GNN)は因果解析の可能性を拡大した。 我々の研究は、9つのベンチマークグラフ分類モデルに展開し、7つのデータセットでその強度と汎用性をテストした。 本研究は,多種多様なデータ中心分野におけるGNNの理解と実用化の促進に有効である。
  論文  参考訳（メタデータ） (2024-01-27T15:35:05Z)
• Graph Out-of-Distribution Generalization with Controllable Data Augmentation [51.17476258673232]
  グラフニューラルネットワーク(GNN)は,グラフ特性の分類において異常な性能を示した。 トレーニングとテストデータの選択バイアスが原因で、分散偏差が広まっています。 仮想サンプルの分布偏差を測定するためのOODキャリブレーションを提案する。
  論文  参考訳（メタデータ） (2023-08-16T13:10:27Z)
• Addressing the Impact of Localized Training Data in Graph Neural Networks [0.0]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データから学習において顕著な成功を収めた。 本稿では,グラフの局所化部分集合に対するGNNのトレーニングの影響を評価することを目的とする。 本稿では,局所化学習データとグラフ推論との分散不一致を最小化する正規化手法を提案する。
  論文  参考訳（メタデータ） (2023-07-24T11:04:22Z)
• MentorGNN: Deriving Curriculum for Pre-Training GNNs [61.97574489259085]
  本稿では,グラフ間のGNNの事前学習プロセスの監視を目的とした,MentorGNNというエンドツーエンドモデルを提案する。 我々は、事前学習したGNNの一般化誤差に自然かつ解釈可能な上限を導出することにより、関係データ(グラフ)に対するドメイン適応の問題に新たな光を当てた。
  論文  参考訳（メタデータ） (2022-08-21T15:12:08Z)
• Robust Optimization as Data Augmentation for Large-scale Graphs [117.2376815614148]
  学習中に勾配に基づく逆方向摂動を伴うノード特徴を反復的に拡張するFLAG(Free Large-scale Adversarial Augmentation on Graphs)を提案する。 FLAGはグラフデータに対する汎用的なアプローチであり、ノード分類、リンク予測、グラフ分類タスクで普遍的に機能する。
  論文  参考訳（メタデータ） (2020-10-19T21:51:47Z)
• From Local Structures to Size Generalization in Graph Neural Networks [53.3202754533658]
  グラフニューラルネットワーク(GNN)は、さまざまなサイズのグラフを処理することができる。 特に小さなグラフから大きなグラフまで、サイズをまたいで一般化する能力は、まだよく理解されていない。
  論文  参考訳（メタデータ） (2020-10-17T19:36:54Z)
• Towards Deeper Graph Neural Networks [63.46470695525957]
  グラフ畳み込みは近傍の集約を行い、最も重要なグラフ操作の1つである。 いくつかの最近の研究で、この性能劣化は過度に滑らかな問題に起因している。 本研究では,大きな受容領域からの情報を適応的に組み込むディープ適応グラフニューラルネットワーク(DAGNN)を提案する。
  論文  参考訳（メタデータ） (2020-07-18T01:11:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。