論文の概要: From Local Structures to Size Generalization in Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2010.08853v3
• Date: Thu, 15 Jul 2021 19:18:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-06 09:04:28.136475
• Title: From Local Structures to Size Generalization in Graph Neural Networks
• Title（参考訳）: グラフニューラルネットワークにおける局所構造からサイズ一般化へ
• Authors: Gilad Yehudai, Ethan Fetaya, Eli Meirom, Gal Chechik, Haggai Maron
• Abstract要約: グラフニューラルネットワーク(GNN)は、さまざまなサイズのグラフを処理することができる。 特に小さなグラフから大きなグラフまで、サイズをまたいで一般化する能力は、まだよく理解されていない。
• 参考スコア（独自算出の注目度）: 53.3202754533658
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph neural networks (GNNs) can process graphs of different sizes, but their ability to generalize across sizes, specifically from small to large graphs, is still not well understood. In this paper, we identify an important type of data where generalization from small to large graphs is challenging: graph distributions for which the local structure depends on the graph size. This effect occurs in multiple important graph learning domains, including social and biological networks. We first prove that when there is a difference between the local structures, GNNs are not guaranteed to generalize across sizes: there are "bad" global minima that do well on small graphs but fail on large graphs. We then study the size-generalization problem empirically and demonstrate that when there is a discrepancy in local structure, GNNs tend to converge to non-generalizing solutions. Finally, we suggest two approaches for improving size generalization, motivated by our findings. Notably, we propose a novel Self-Supervised Learning (SSL) task aimed at learning meaningful representations of local structures that appear in large graphs. Our SSL task improves classification accuracy on several popular datasets.
• Abstract（参考訳）: グラフニューラルネットワーク(gnns)は、異なるサイズのグラフを処理できるが、そのサイズ、特に小さなグラフから大きなグラフまでを一般化する能力はまだよく分かっていない。 本稿では,局所構造がグラフサイズに依存するグラフ分布という,小さなグラフから大きなグラフへの一般化が困難である重要なタイプのデータを特定する。 この効果は、社会的および生物学的ネットワークを含む複数の重要なグラフ学習領域で発生する。 まず、局所構造に違いがある場合、gnnはサイズをまたがって一般化することが保証されていないことを証明します:小さなグラフではうまく機能するが、大きなグラフでは失敗する「悪い」グローバルミニマがあります。 次に,局所構造に相違がある場合,GNNは非一般化解に収束する傾向にあることを示す。 最後に,本研究の動機を生かした,サイズ一般化のための2つのアプローチを提案する。 特に,大規模なグラフに現れる局所構造の有意義な表現を学習することを目的とした,新たな自己監督学習(SSL)タスクを提案する。 SSLタスクは、いくつかの一般的なデータセットの分類精度を改善する。

関連論文リスト

• Revisiting Graph Neural Networks on Graph-level Tasks: Comprehensive Experiments, Analysis, and Improvements [54.006506479865344]
  グラフレベルグラフニューラルネットワーク(GNN)のための統一評価フレームワークを提案する。 このフレームワークは、さまざまなデータセットにわたるGNNを評価するための標準化された設定を提供する。 また,表現性の向上と一般化機能を備えた新しいGNNモデルを提案する。
  論文  参考訳（メタデータ） (2025-01-01T08:48:53Z)
• Graph Classification via Reference Distribution Learning: Theory and Practice [24.74871206083017]
  グラフ参照分布学習(GRDL, Graph Reference Distribution Learning)は, グラフの効率的な分類法である。 GRDLはGNN層によって与えられるグラフの潜在ノード埋め込みを離散分布として扱い、グローバルプールなしで直接分類できる。 中規模および大規模グラフデータセットの実験は、GRDLが最先端よりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-08-21T06:42:22Z)
• Enhancing Size Generalization in Graph Neural Networks through Disentangled Representation Learning [7.448831299106425]
  DISGENは、グラフ表現からサイズ因子をアンタングルするために設計された、モデルに依存しないフレームワークである。 実験の結果, DISGENは実世界のデータセットにおいて, 最先端のモデルよりも最大6%優れていた。
  論文  参考訳（メタデータ） (2024-06-07T03:19:24Z)
• GraphGLOW: Universal and Generalizable Structure Learning for Graph Neural Networks [72.01829954658889]
  本稿では,この新たな問題設定の数学的定義を紹介する。 一つのグラフ共有構造学習者と複数のグラフ固有GNNを協調する一般的なフレームワークを考案する。 十分に訓練された構造学習者は、微調整なしで、目に見えない対象グラフの適応的な構造を直接生成することができる。
  論文  参考訳（メタデータ） (2023-06-20T03:33:22Z)
• NodeFormer: A Scalable Graph Structure Learning Transformer for Node Classification [70.51126383984555]
  本稿では,任意のノード間のノード信号を効率的に伝搬する全ペアメッセージパッシング方式を提案する。 効率的な計算は、カーナライズされたGumbel-Softmax演算子によって実現される。 グラフ上のノード分類を含む様々なタスクにおいて,本手法の有望な有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-06-14T09:21:15Z)
• Learning Graph Algorithms With Recurrent Graph Neural Networks [8.873449722727026]
  我々は、単純なグラフ問題を末尾から末尾まで小さなグラフで学習し、より大きなインスタンスに拡張する、反復的なアーキテクチャ設計に重点を置いている。 We use (i) skip connection, (ii) state regularization, and (iii) edge convolutions to guide GNNs to extrapolation。
  論文  参考訳（メタデータ） (2022-12-09T15:42:22Z)
• Towards Unsupervised Deep Graph Structure Learning [67.58720734177325]
  本稿では,学習したグラフトポロジを外部ガイダンスなしでデータ自身で最適化する,教師なしグラフ構造学習パラダイムを提案する。 具体的には、元のデータから"アンカーグラフ"として学習目標を生成し、対照的な損失を用いてアンカーグラフと学習グラフとの一致を最大化する。
  論文  参考訳（メタデータ） (2022-01-17T11:57:29Z)
• Deep Graph Structure Learning for Robust Representations: A Survey [20.564611153151834]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データの解析に広く利用されている。 GNNモデルの堅牢性を改善するため、グラフ構造学習の中心概念を中心に多くの研究が提案されている。
  論文  参考訳（メタデータ） (2021-03-04T13:49:25Z)
• Distance Encoding: Design Provably More Powerful Neural Networks for Graph Representation Learning [63.97983530843762]
  グラフニューラルネットワーク(GNN)はグラフ表現学習において大きな成功を収めている。 GNNは、実際には非常に異なるグラフ部分構造に対して同一の表現を生成する。 より強力なGNNは、最近高階試験を模倣して提案され、基礎となるグラフ構造を疎結合にできないため、非効率である。 本稿では,グラフ表現学習の新たなクラスとして距離分解(DE)を提案する。
  論文  参考訳（メタデータ） (2020-08-31T23:15:40Z)
• The Impact of Global Structural Information in Graph Neural Networks Applications [5.629161809575013]
  グラフニューラルネットワーク(GNN)は、集約戦略を定義するためにグラフ構造に依存する。 GNNの既知の制限は、レイヤーの数が増加するにつれて情報がスムースになり、切り離されることである。 いくつかのGNNモデルにグローバル情報へのアクセスを提供し、それが下流のパフォーマンスに与える影響を観察する。
  論文  参考訳（メタデータ） (2020-06-06T08:52:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。