論文の概要: Size Generalizability of Graph Neural Networks on Biological Data: Insights and Practices from the Spectral Perspective

• arxiv url: http://arxiv.org/abs/2305.15611v1
• Date: Wed, 24 May 2023 23:01:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-26 18:24:29.609913
• Title: Size Generalizability of Graph Neural Networks on Biological Data: Insights and Practices from the Spectral Perspective
• Title（参考訳）: 生物学的データを用いたグラフニューラルネットワークのサイズ汎化:スペクトルの観点からの考察と実践
• Authors: Yujun Yan, Gaotang Li, Danai koutra
• Abstract要約: グラフニューラルネットワーク(GNN)によって学習された知識が,同じ領域の大規模グラフに対して一般化可能であるかを検討する。 正規化ラプラシア/隣接行列の固有値における小グラフと大グラフの間の分布シフトを同定する。 そこで本研究では,学習過程のガイドとして,サイズ非関連な局所構造特徴を用いたモデル非依存戦略(SIA)を提案する。
• 参考スコア（独自算出の注目度）: 13.316313255638606
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We investigate the question of whether the knowledge learned by graph neural networks (GNNs) from small graphs is generalizable to large graphs in the same domain. Prior works suggest that the distribution shift, particularly in the degree distribution, between graphs of different sizes can lead to performance degradation in the graph classification task. However, this may not be the case for biological datasets where the degrees are bounded and the distribution shift of degrees is small. Even with little degree distribution shift, our observations show that GNNs' performance on larger graphs from the same datasets still degrades, suggesting other causes. In fact, there has been a lack of exploration in real datasets to understand the types and properties of distribution shifts caused by various graph sizes. Furthermore, previous analyses of size generalizability mostly focus on the spatial domain. To fill these gaps, we take the spectral perspective and study the size generalizability of GNNs on biological data. We identify a distribution shift between small and large graphs in the eigenvalues of the normalized Laplacian/adjacency matrix, indicating a difference in the global node connectivity, which is found to be correlated with the node closeness centrality. We further find that despite of the variations in global connectivity, graphs of different sizes share similar local connectivity, which can be utilized to improve the size generalizability of GNNs. Based on our spectral insights and empirical observations, we propose a model-agnostic strategy, SIA, which uses size-irrelevant local structural features, i.e., the local closeness centrality of a node, to guide the learning process. Our empirical results demonstrate that our strategy improves the graph classification performance of various GNNs on small and large graphs when training with only small graphs.
• Abstract（参考訳）: 本稿では,グラフニューラルネットワーク(GNN)が学習した知識が,同じ領域の大規模グラフに対して一般化可能であるかどうかを考察する。 先行研究は、特に度数分布において、異なる大きさのグラフ間の分布シフトが、グラフ分類タスクのパフォーマンス低下につながることを示唆している。 しかし、これは、次数が有界で次数の分布シフトが小さい生物学的データセットには当てはまらないかもしれない。 分布の偏りが小さかったとしても、同じデータセットからより大きなグラフに対するgnnのパフォーマンスは低下し、他の原因も示唆されている。 実際、様々なグラフサイズに起因する分布シフトのタイプと特性を理解するために、実際のデータセットには探索の欠如があった。 さらに、サイズ汎化可能性の以前の分析は、主に空間領域に焦点をあてている。 これらのギャップを埋めるために、スペクトルの観点から、生物データに対するgnnのサイズ一般化可能性について検討する。 本研究では,正規化ラプラシアン/隣接行列の固有値における小・大グラフ間の分布シフトを同定し,ノード近接中心性と相関する大域ノード接続の差を示す。 さらに,グローバル接続のばらつきにもかかわらず,gnnのサイズ一般化性を改善するために,異なるサイズのグラフが類似した局所接続を共有できることが判明した。 そこで我々は,各ノードの大きさ非関係な局所構造特徴,すなわちノードの局所的近接性中心性を用いて学習過程を指導する,モデル非依存戦略であるsiaを提案する。 実験により,小グラフのみを用いた学習において,GNNのグラフ分類性能が向上することが実証された。

関連論文リスト

• A Manifold Perspective on the Statistical Generalization of Graph Neural Networks [84.01980526069075]
  我々は、スペクトル領域の多様体からサンプリングされたグラフ上のGNNの統計的一般化理論を確立するために多様体の視点を取る。 我々はGNNの一般化境界が対数スケールのグラフのサイズとともに線形に減少し、フィルタ関数のスペクトル連続定数とともに線形的に増加することを証明した。
  論文  参考訳（メタデータ） (2024-06-07T19:25:02Z)
• Enhancing Size Generalization in Graph Neural Networks through Disentangled Representation Learning [7.448831299106425]
  DISGENは、グラフ表現からサイズ因子をアンタングルするために設計された、モデルに依存しないフレームワークである。 実験の結果, DISGENは実世界のデータセットにおいて, 最先端のモデルよりも最大6%優れていた。
  論文  参考訳（メタデータ） (2024-06-07T03:19:24Z)
• Towards Causal Classification: A Comprehensive Study on Graph Neural Networks [9.360596957822471]
  グラフ構造化データを処理するグラフニューラルネットワーク(GNN)は因果解析の可能性を拡大した。 我々の研究は、9つのベンチマークグラフ分類モデルに展開し、7つのデータセットでその強度と汎用性をテストした。 本研究は,多種多様なデータ中心分野におけるGNNの理解と実用化の促進に有効である。
  論文  参考訳（メタデータ） (2024-01-27T15:35:05Z)
• Graph Out-of-Distribution Generalization with Controllable Data Augmentation [51.17476258673232]
  グラフニューラルネットワーク(GNN)は,グラフ特性の分類において異常な性能を示した。 トレーニングとテストデータの選択バイアスが原因で、分散偏差が広まっています。 仮想サンプルの分布偏差を測定するためのOODキャリブレーションを提案する。
  論文  参考訳（メタデータ） (2023-08-16T13:10:27Z)
• Addressing the Impact of Localized Training Data in Graph Neural Networks [0.0]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データから学習において顕著な成功を収めた。 本稿では,グラフの局所化部分集合に対するGNNのトレーニングの影響を評価することを目的とする。 本稿では,局所化学習データとグラフ推論との分散不一致を最小化する正規化手法を提案する。
  論文  参考訳（メタデータ） (2023-07-24T11:04:22Z)
• MentorGNN: Deriving Curriculum for Pre-Training GNNs [61.97574489259085]
  本稿では,グラフ間のGNNの事前学習プロセスの監視を目的とした,MentorGNNというエンドツーエンドモデルを提案する。 我々は、事前学習したGNNの一般化誤差に自然かつ解釈可能な上限を導出することにより、関係データ(グラフ)に対するドメイン適応の問題に新たな光を当てた。
  論文  参考訳（メタデータ） (2022-08-21T15:12:08Z)
• Robust Optimization as Data Augmentation for Large-scale Graphs [117.2376815614148]
  学習中に勾配に基づく逆方向摂動を伴うノード特徴を反復的に拡張するFLAG(Free Large-scale Adversarial Augmentation on Graphs)を提案する。 FLAGはグラフデータに対する汎用的なアプローチであり、ノード分類、リンク予測、グラフ分類タスクで普遍的に機能する。
  論文  参考訳（メタデータ） (2020-10-19T21:51:47Z)
• From Local Structures to Size Generalization in Graph Neural Networks [53.3202754533658]
  グラフニューラルネットワーク(GNN)は、さまざまなサイズのグラフを処理することができる。 特に小さなグラフから大きなグラフまで、サイズをまたいで一般化する能力は、まだよく理解されていない。
  論文  参考訳（メタデータ） (2020-10-17T19:36:54Z)
• Towards Deeper Graph Neural Networks [63.46470695525957]
  グラフ畳み込みは近傍の集約を行い、最も重要なグラフ操作の1つである。 いくつかの最近の研究で、この性能劣化は過度に滑らかな問題に起因している。 本研究では,大きな受容領域からの情報を適応的に組み込むディープ適応グラフニューラルネットワーク(DAGNN)を提案する。
  論文  参考訳（メタデータ） (2020-07-18T01:11:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。