論文の概要: Size Generalization of Graph Neural Networks on Biological Data:
Insights and Practices from the Spectral Perspective
- arxiv url: http://arxiv.org/abs/2305.15611v4
- Date: Wed, 7 Feb 2024 03:27:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-08 12:07:53.826675
- Title: Size Generalization of Graph Neural Networks on Biological Data:
Insights and Practices from the Spectral Perspective
- Title（参考訳）: 生物学的データを用いたグラフニューラルネットワークのサイズ一般化:スペクトルの観点からの考察と実践
- Authors: Gaotang Li, Danai Koutra, Yujun Yan
- Abstract要約: グラフにおけるサイズ誘起分布変化について検討し、グラフニューラルネットワーク(GNN)の大規模グラフへの一般化能力への影響を評価する。
我々は,GNNが重要なサブグラフパターンを認識して,そのサイズを一般化する,シンプルで効果的なモデルに依存しない戦略を導入する。
- 参考スコア（独自算出の注目度）: 16.01608638659267
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We investigate size-induced distribution shifts in graphs and assess their
impact on the ability of graph neural networks (GNNs) to generalize to larger
graphs relative to the training data. Existing literature presents conflicting
conclusions on GNNs' size generalizability, primarily due to disparities in
application domains and underlying assumptions concerning size-induced
distribution shifts. Motivated by this, we take a data-driven approach: we
focus on real biological datasets and seek to characterize the types of
size-induced distribution shifts. Diverging from prior approaches, we adopt a
spectral perspective and identify that spectrum differences induced by size are
related to differences in subgraph patterns (e.g., average cycle lengths).
While previous studies have identified that the inability of GNNs in capturing
subgraph information negatively impacts their in-distribution generalization,
our findings further show that this decline is more pronounced when evaluating
on larger test graphs not encountered during training. Based on these spectral
insights, we introduce a simple yet effective model-agnostic strategy, which
makes GNNs aware of these important subgraph patterns to enhance their size
generalizability. Our empirical results reveal that our proposed
size-insensitive attention strategy substantially enhances graph classification
performance on large test graphs, which are 2-10 times larger than the training
graphs, resulting in an improvement in F1 scores by up to 8%.
- Abstract（参考訳）: 本研究では,グラフの大きさによる分布変化を調査し,その学習データに対するグラフニューラルネットワーク(gnns)の一般化能力に与える影響を評価する。
既存の文献では、gnnのサイズ汎化可能性について、主にアプリケーションドメインの相違とサイズ誘起分布シフトに関する基礎的な仮定によって、矛盾する結論を示している。
私たちは実際の生物学的データセットに注目し、サイズによって引き起こされる分散シフトのタイプを特徴付けることを求めます。
従来のアプローチと異なり、スペクトルの視点を採用し、サイズによって引き起こされるスペクトル差がサブグラフパターン(例えば、平均サイクル長)の違いと関係していることを明らかにする。
従来の研究では, サブグラフ情報の取得におけるGNNの欠如が, 分布内一般化に悪影響を及ぼすことが確認されているが, トレーニング中に遭遇しない大規模テストグラフでは, この減少が顕著である。
このようなスペクトル的洞察に基づいて,gnnがそれらの重要な部分グラフパターンを認識し,そのサイズ一般化可能性を高めるための,単純かつ効果的なモデル非依存戦略を導入する。
実験の結果,提案手法はトレーニンググラフの2～10倍の大きさの大規模テストグラフ上でのグラフ分類性能を大幅に向上させ,F1スコアを最大8%向上させることができた。
関連論文リスト
- A Manifold Perspective on the Statistical Generalization of Graph Neural Networks [84.01980526069075]
我々は、スペクトル領域の多様体からサンプリングされたグラフ上のGNNの統計的一般化理論を確立するために多様体の視点を取る。
我々はGNNの一般化境界が対数スケールのグラフのサイズとともに線形に減少し、フィルタ関数のスペクトル連続定数とともに線形的に増加することを証明した。
論文 参考訳（メタデータ） (2024-06-07T19:25:02Z) - Enhancing Size Generalization in Graph Neural Networks through Disentangled Representation Learning [7.448831299106425]
DISGENは、グラフ表現からサイズ因子をアンタングルするために設計された、モデルに依存しないフレームワークである。
実験の結果, DISGENは実世界のデータセットにおいて, 最先端のモデルよりも最大6%優れていた。
論文 参考訳（メタデータ） (2024-06-07T03:19:24Z) - Towards Causal Classification: A Comprehensive Study on Graph Neural
Networks [9.360596957822471]
グラフ構造化データを処理するグラフニューラルネットワーク(GNN)は因果解析の可能性を拡大した。
我々の研究は、9つのベンチマークグラフ分類モデルに展開し、7つのデータセットでその強度と汎用性をテストした。
本研究は,多種多様なデータ中心分野におけるGNNの理解と実用化の促進に有効である。
論文 参考訳（メタデータ） (2024-01-27T15:35:05Z) - Graph Out-of-Distribution Generalization with Controllable Data
Augmentation [51.17476258673232]
グラフニューラルネットワーク(GNN)は,グラフ特性の分類において異常な性能を示した。
トレーニングとテストデータの選択バイアスが原因で、分散偏差が広まっています。
仮想サンプルの分布偏差を測定するためのOODキャリブレーションを提案する。
論文 参考訳（メタデータ） (2023-08-16T13:10:27Z) - Addressing the Impact of Localized Training Data in Graph Neural
Networks [0.0]
グラフニューラルネットワーク(GNN)は、グラフ構造化データから学習において顕著な成功を収めた。
本稿では,グラフの局所化部分集合に対するGNNのトレーニングの影響を評価することを目的とする。
本稿では,局所化学習データとグラフ推論との分散不一致を最小化する正規化手法を提案する。
論文 参考訳（メタデータ） (2023-07-24T11:04:22Z) - MentorGNN: Deriving Curriculum for Pre-Training GNNs [61.97574489259085]
本稿では,グラフ間のGNNの事前学習プロセスの監視を目的とした,MentorGNNというエンドツーエンドモデルを提案する。
我々は、事前学習したGNNの一般化誤差に自然かつ解釈可能な上限を導出することにより、関係データ(グラフ)に対するドメイン適応の問題に新たな光を当てた。
論文 参考訳（メタデータ） (2022-08-21T15:12:08Z) - Robust Optimization as Data Augmentation for Large-scale Graphs [117.2376815614148]
学習中に勾配に基づく逆方向摂動を伴うノード特徴を反復的に拡張するFLAG(Free Large-scale Adversarial Augmentation on Graphs)を提案する。
FLAGはグラフデータに対する汎用的なアプローチであり、ノード分類、リンク予測、グラフ分類タスクで普遍的に機能する。
論文 参考訳（メタデータ） (2020-10-19T21:51:47Z) - From Local Structures to Size Generalization in Graph Neural Networks [53.3202754533658]
グラフニューラルネットワーク(GNN)は、さまざまなサイズのグラフを処理することができる。
特に小さなグラフから大きなグラフまで、サイズをまたいで一般化する能力は、まだよく理解されていない。
論文 参考訳（メタデータ） (2020-10-17T19:36:54Z) - Towards Deeper Graph Neural Networks [63.46470695525957]
グラフ畳み込みは近傍の集約を行い、最も重要なグラフ操作の1つである。
いくつかの最近の研究で、この性能劣化は過度に滑らかな問題に起因している。
本研究では,大きな受容領域からの情報を適応的に組み込むディープ適応グラフニューラルネットワーク(DAGNN)を提案する。
論文 参考訳（メタデータ） (2020-07-18T01:11:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。