論文の概要: Size Generalization of Graph Neural Networks on Biological Data: Insights and Practices from the Spectral Perspective

• arxiv url: http://arxiv.org/abs/2305.15611v4
• Date: Wed, 7 Feb 2024 03:27:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-02-08 12:07:53.826675
• Title: Size Generalization of Graph Neural Networks on Biological Data: Insights and Practices from the Spectral Perspective
• Title（参考訳）: 生物学的データを用いたグラフニューラルネットワークのサイズ一般化:スペクトルの観点からの考察と実践
• Authors: Gaotang Li, Danai Koutra, Yujun Yan
• Abstract要約: グラフにおけるサイズ誘起分布変化について検討し、グラフニューラルネットワーク(GNN)の大規模グラフへの一般化能力への影響を評価する。 我々は,GNNが重要なサブグラフパターンを認識して,そのサイズを一般化する,シンプルで効果的なモデルに依存しない戦略を導入する。
• 参考スコア（独自算出の注目度）: 16.01608638659267
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We investigate size-induced distribution shifts in graphs and assess their impact on the ability of graph neural networks (GNNs) to generalize to larger graphs relative to the training data. Existing literature presents conflicting conclusions on GNNs' size generalizability, primarily due to disparities in application domains and underlying assumptions concerning size-induced distribution shifts. Motivated by this, we take a data-driven approach: we focus on real biological datasets and seek to characterize the types of size-induced distribution shifts. Diverging from prior approaches, we adopt a spectral perspective and identify that spectrum differences induced by size are related to differences in subgraph patterns (e.g., average cycle lengths). While previous studies have identified that the inability of GNNs in capturing subgraph information negatively impacts their in-distribution generalization, our findings further show that this decline is more pronounced when evaluating on larger test graphs not encountered during training. Based on these spectral insights, we introduce a simple yet effective model-agnostic strategy, which makes GNNs aware of these important subgraph patterns to enhance their size generalizability. Our empirical results reveal that our proposed size-insensitive attention strategy substantially enhances graph classification performance on large test graphs, which are 2-10 times larger than the training graphs, resulting in an improvement in F1 scores by up to 8%.
• Abstract（参考訳）: 本研究では,グラフの大きさによる分布変化を調査し,その学習データに対するグラフニューラルネットワーク(gnns)の一般化能力に与える影響を評価する。 既存の文献では、gnnのサイズ汎化可能性について、主にアプリケーションドメインの相違とサイズ誘起分布シフトに関する基礎的な仮定によって、矛盾する結論を示している。 私たちは実際の生物学的データセットに注目し、サイズによって引き起こされる分散シフトのタイプを特徴付けることを求めます。 従来のアプローチと異なり、スペクトルの視点を採用し、サイズによって引き起こされるスペクトル差がサブグラフパターン(例えば、平均サイクル長)の違いと関係していることを明らかにする。 従来の研究では, サブグラフ情報の取得におけるGNNの欠如が, 分布内一般化に悪影響を及ぼすことが確認されているが, トレーニング中に遭遇しない大規模テストグラフでは, この減少が顕著である。 このようなスペクトル的洞察に基づいて,gnnがそれらの重要な部分グラフパターンを認識し,そのサイズ一般化可能性を高めるための,単純かつ効果的なモデル非依存戦略を導入する。 実験の結果,提案手法はトレーニンググラフの2～10倍の大きさの大規模テストグラフ上でのグラフ分類性能を大幅に向上させ,F1スコアを最大8%向上させることができた。

関連論文リスト

• Revisiting Graph Neural Networks on Graph-level Tasks: Comprehensive Experiments, Analysis, and Improvements [54.006506479865344]
  グラフレベルグラフニューラルネットワーク(GNN)のための統一評価フレームワークを提案する。 このフレームワークは、さまざまなデータセットにわたるGNNを評価するための標準化された設定を提供する。 また,表現性の向上と一般化機能を備えた新しいGNNモデルを提案する。
  論文  参考訳（メタデータ） (2025-01-01T08:48:53Z)
• Towards Data-centric Machine Learning on Directed Graphs: a Survey [23.498557237805414]
  本稿では,有向グラフ学習研究のための新しい分類法を提案する。 我々はこれらの手法をデータ中心の観点から再検討し、データ表現の理解と改善に重点を置いている。 我々はこの分野における主要な機会と課題を特定し、有向グラフ学習における将来の研究と開発を導く洞察を提供する。
  論文  参考訳（メタデータ） (2024-11-28T06:09:12Z)
• A Manifold Perspective on the Statistical Generalization of Graph Neural Networks [84.01980526069075]
  我々は、スペクトル領域の多様体からサンプリングされたグラフ上のGNNの統計的一般化理論を確立するために多様体の視点を取る。 我々はGNNの一般化境界が対数スケールのグラフのサイズとともに線形に減少し、フィルタ関数のスペクトル連続定数とともに線形的に増加することを証明した。
  論文  参考訳（メタデータ） (2024-06-07T19:25:02Z)
• Enhancing Size Generalization in Graph Neural Networks through Disentangled Representation Learning [7.448831299106425]
  DISGENは、グラフ表現からサイズ因子をアンタングルするために設計された、モデルに依存しないフレームワークである。 実験の結果, DISGENは実世界のデータセットにおいて, 最先端のモデルよりも最大6%優れていた。
  論文  参考訳（メタデータ） (2024-06-07T03:19:24Z)
• Spectral Greedy Coresets for Graph Neural Networks [61.24300262316091]
  ノード分類タスクにおける大規模グラフの利用は、グラフニューラルネットワーク(GNN)の現実的な応用を妨げる 本稿では,GNNのグラフコアセットについて検討し,スペクトル埋め込みに基づくエゴグラフの選択により相互依存の問題を回避する。 我々のスペクトルグレディグラフコアセット(SGGC)は、数百万のノードを持つグラフにスケールし、モデル事前学習の必要性を排除し、低ホモフィリーグラフに適用する。
  論文  参考訳（メタデータ） (2024-05-27T17:52:12Z)
• Towards Causal Classification: A Comprehensive Study on Graph Neural Networks [9.360596957822471]
  グラフ構造化データを処理するグラフニューラルネットワーク(GNN)は因果解析の可能性を拡大した。 我々の研究は、9つのベンチマークグラフ分類モデルに展開し、7つのデータセットでその強度と汎用性をテストした。 本研究は,多種多様なデータ中心分野におけるGNNの理解と実用化の促進に有効である。
  論文  参考訳（メタデータ） (2024-01-27T15:35:05Z)
• BHGNN-RT: Network embedding for directed heterogeneous graphs [8.7024326813104]
  本稿では,BHGNN-RTを用いた双方向ヘテロジニアスグラフニューラルネットワークの組込み手法を提案する。 BHGNN-RTの有効性と有効性を検証するために, 各種データセットの広範囲な実験を行った。 BHGNN-RTは、ノード分類と教師なしクラスタリングタスクの両方においてベンチマーク手法よりも優れた、最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-11-24T10:56:09Z)
• Graph Out-of-Distribution Generalization with Controllable Data Augmentation [51.17476258673232]
  グラフニューラルネットワーク(GNN)は,グラフ特性の分類において異常な性能を示した。 トレーニングとテストデータの選択バイアスが原因で、分散偏差が広まっています。 仮想サンプルの分布偏差を測定するためのOODキャリブレーションを提案する。
  論文  参考訳（メタデータ） (2023-08-16T13:10:27Z)
• Addressing the Impact of Localized Training Data in Graph Neural Networks [0.0]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データから学習において顕著な成功を収めた。 本稿では,グラフの局所化部分集合に対するGNNのトレーニングの影響を評価することを目的とする。 本稿では,局所化学習データとグラフ推論との分散不一致を最小化する正規化手法を提案する。
  論文  参考訳（メタデータ） (2023-07-24T11:04:22Z)
• Relation Embedding based Graph Neural Networks for Handling Heterogeneous Graph [58.99478502486377]
  我々は、同種GNNが不均一グラフを扱うのに十分な能力を持つように、シンプルで効率的なフレームワークを提案する。 具体的には、エッジ型関係と自己ループ接続の重要性を埋め込むために、関係1つのパラメータのみを使用する関係埋め込みベースのグラフニューラルネットワーク(RE-GNN)を提案する。
  論文  参考訳（メタデータ） (2022-09-23T05:24:18Z)
• Towards Better Generalization with Flexible Representation of Multi-Module Graph Neural Networks [0.27195102129094995]
  ランダムグラフ生成器を用いて,グラフサイズと構造特性がGNNの予測性能に与える影響について検討する。 本稿では,GNNが未知のグラフに一般化できるかどうかを決定する上で,平均ノード次数が重要な特徴であることを示す。 集約された入力に対して単一の正準非線形変換を一般化することにより、ネットワークが新しいグラフに柔軟に対応可能なマルチモジュールGNNフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-09-14T12:13:59Z)
• MentorGNN: Deriving Curriculum for Pre-Training GNNs [61.97574489259085]
  本稿では,グラフ間のGNNの事前学習プロセスの監視を目的とした,MentorGNNというエンドツーエンドモデルを提案する。 我々は、事前学習したGNNの一般化誤差に自然かつ解釈可能な上限を導出することにより、関係データ(グラフ)に対するドメイン適応の問題に新たな光を当てた。
  論文  参考訳（メタデータ） (2022-08-21T15:12:08Z)
• Graph Feature Gating Networks [31.20878472589719]
  本稿では,グラフ信号の雑音化問題に基づく一般グラフ特徴ゲーティングネットワーク(gfgn)を提案する。 また、GFGNの下で3つのグラフフィルターを導入し、機能寸法から異なるレベルのコントリビューションを可能にします。
  論文  参考訳（メタデータ） (2021-05-10T16:33:58Z)
• Robust Optimization as Data Augmentation for Large-scale Graphs [117.2376815614148]
  学習中に勾配に基づく逆方向摂動を伴うノード特徴を反復的に拡張するFLAG(Free Large-scale Adversarial Augmentation on Graphs)を提案する。 FLAGはグラフデータに対する汎用的なアプローチであり、ノード分類、リンク予測、グラフ分類タスクで普遍的に機能する。
  論文  参考訳（メタデータ） (2020-10-19T21:51:47Z)
• From Local Structures to Size Generalization in Graph Neural Networks [53.3202754533658]
  グラフニューラルネットワーク(GNN)は、さまざまなサイズのグラフを処理することができる。 特に小さなグラフから大きなグラフまで、サイズをまたいで一般化する能力は、まだよく理解されていない。
  論文  参考訳（メタデータ） (2020-10-17T19:36:54Z)
• Towards Deeper Graph Neural Networks [63.46470695525957]
  グラフ畳み込みは近傍の集約を行い、最も重要なグラフ操作の1つである。 いくつかの最近の研究で、この性能劣化は過度に滑らかな問題に起因している。 本研究では,大きな受容領域からの情報を適応的に組み込むディープ適応グラフニューラルネットワーク(DAGNN)を提案する。
  論文  参考訳（メタデータ） (2020-07-18T01:11:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。