論文の概要: SizeShiftReg: a Regularization Method for Improving Size-Generalization
in Graph Neural Networks
- arxiv url: http://arxiv.org/abs/2207.07888v1
- Date: Sat, 16 Jul 2022 09:50:45 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-19 17:50:51.127469
- Title: SizeShiftReg: a Regularization Method for Improving Size-Generalization
in Graph Neural Networks
- Title（参考訳）: sizeshiftreg:グラフニューラルネットワークにおけるサイズ一般化を改善する正規化手法
- Authors: Davide Buffelli, Pietro Li\`o, Fabio Vandin
- Abstract要約: グラフニューラルネットワーク(GNN)は,グラフ分類のデファクトモデルとなっている。
テストデータへのアクセスを必要とせずに,任意のGNNに適用可能な正規化戦略を提案する。
我々の正規化は、粗い手法を用いてトレーニンググラフのサイズの変化をシミュレートする考え方に基づいている。
- 参考スコア（独自算出の注目度）: 5.008597638379227
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the past few years, graph neural networks (GNNs) have become the de facto
model of choice for graph classification. While, from the theoretical
viewpoint, most GNNs can operate on graphs of any size, it is empirically
observed that their classification performance degrades when they are applied
on graphs with sizes that differ from those in the training data. Previous
works have tried to tackle this issue in graph classification by providing the
model with inductive biases derived from assumptions on the generative process
of the graphs, or by requiring access to graphs from the test domain. The first
strategy is tied to the use of ad-hoc models and to the quality of the
assumptions made on the generative process, leaving open the question of how to
improve the performance of generic GNN models in general settings. On the other
hand, the second strategy can be applied to any GNN, but requires access to
information that is not always easy to obtain. In this work we consider the
scenario in which we only have access to the training data, and we propose a
regularization strategy that can be applied to any GNN to improve its
generalization capabilities from smaller to larger graphs without requiring
access to the test data. Our regularization is based on the idea of simulating
a shift in the size of the training graphs using coarsening techniques, and
enforcing the model to be robust to such a shift. Experimental results on
standard datasets show that popular GNN models, trained on the 50% smallest
graphs in the dataset and tested on the 10% largest graphs, obtain performance
improvements of up to 30% when trained with our regularization strategy.
- Abstract（参考訳）: 過去数年間、グラフニューラルネットワーク(gnns)は、グラフ分類のデファクトモデルとなっている。
理論的な観点からは、ほとんどのGNNは任意の大きさのグラフで操作できるが、その分類性能はトレーニングデータと異なる大きさのグラフに適用されると劣化する。
従来の研究は、グラフの生成過程に関する仮定から導かれる帰納的バイアスのモデルを提供することや、テスト領域からのグラフへのアクセスを要求することで、グラフ分類におけるこの問題に対処しようと試みてきた。
第1の戦略は、アドホックモデルの使用と生成プロセスにおける仮定の質に結びついており、一般的なGNNモデルの性能を改善する方法についての疑問が残る。
一方、第2の戦略は任意のGNNに適用できるが、入手が必ずしも容易ではない情報にアクセスする必要がある。
本研究では,学習データのみにアクセス可能なシナリオを考察し,GNNに適用可能な正規化戦略を提案し,テストデータへのアクセスを必要とせずに,より小さなグラフから大規模なグラフへの一般化能力を向上する。
我々の正規化は、粗い手法を用いてトレーニンググラフのサイズの変化をシミュレートし、そのようなシフトに対して堅牢なモデルを強制するという考え方に基づいている。
標準データセットに対する実験結果から、一般的なGNNモデルは、データセットの50%最小グラフでトレーニングされ、10%最大のグラフでテストされ、正規化戦略でトレーニングされた場合、最大30%の性能改善が得られた。
関連論文リスト
- Faster Inference Time for GNNs using coarsening [1.323700980948722]
粗い手法はグラフを小さくするために使われ、計算が高速化される。
これまでの調査では、推論中にコストに対処できなかった。
本稿では, サブグラフベース手法によるGNNのスケーラビリティ向上のための新しい手法を提案する。
論文 参考訳（メタデータ） (2024-10-19T06:27:24Z) - Enhancing Size Generalization in Graph Neural Networks through Disentangled Representation Learning [7.448831299106425]
DISGENは、グラフ表現からサイズ因子をアンタングルするために設計された、モデルに依存しないフレームワークである。
実験の結果, DISGENは実世界のデータセットにおいて, 最先端のモデルよりも最大6%優れていた。
論文 参考訳（メタデータ） (2024-06-07T03:19:24Z) - Graph Unlearning with Efficient Partial Retraining [28.433619085748447]
グラフニューラルネットワーク(GNN)は、様々な現実世界のアプリケーションで顕著な成功を収めている。
GNNは、望ましくないグラフデータに基づいてトレーニングされ、パフォーマンスと信頼性を低下させることができる。
学習不能なGNNのモデルユーティリティをよりよく維持するグラフアンラーニングフレームワークであるGraphRevokerを提案する。
論文 参考訳（メタデータ） (2024-03-12T06:22:10Z) - Learning to Reweight for Graph Neural Network [63.978102332612906]
グラフニューラルネットワーク(GNN)は、グラフタスクに対して有望な結果を示す。
既存のGNNの一般化能力は、テストとトレーニンググラフデータの間に分散シフトが存在する場合に低下する。
本稿では,分布外一般化能力を大幅に向上させる非線形グラフデコリレーション法を提案する。
論文 参考訳（メタデータ） (2023-12-19T12:25:10Z) - Edge Directionality Improves Learning on Heterophilic Graphs [42.5099159786891]
我々は、有向グラフを深層学習するための新しいフレームワークであるDir-GNN(Directed Graph Neural Network)を紹介する。
Dir-GNNは、任意のメッセージパッシングニューラルネットワーク(MPNN)を拡張して、エッジ指向性情報を考慮するために使用することができる。
我々は,Dir-GNNが従来のMPNNよりも高い指向性Weisfeiler-Lehmanテストの表現性に一致することを証明した。
論文 参考訳（メタデータ） (2023-05-17T18:06:43Z) - Graph Generative Model for Benchmarking Graph Neural Networks [73.11514658000547]
本稿では,プライバシ制御により実世界のグラフの分布を学習し,再現する新しいグラフ生成モデルを提案する。
我々のモデルは、GNNモデルのベンチマークに効果的に使用できる大規模な実世界のグラフの、プライバシ制御された合成代用をうまく生成することができる。
論文 参考訳（メタデータ） (2022-07-10T06:42:02Z) - Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。
GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。
提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
論文 参考訳（メタデータ） (2022-03-03T09:53:53Z) - A Unified Lottery Ticket Hypothesis for Graph Neural Networks [82.31087406264437]
本稿では,グラフ隣接行列とモデルの重み付けを同時に行う統一GNNスペーシフィケーション(UGS)フレームワークを提案する。
グラフ宝くじ(GLT)をコアサブデータセットとスパースサブネットワークのペアとして定義することにより、人気のある宝くじチケット仮説を初めてGNNsにさらに一般化します。
論文 参考訳（メタデータ） (2021-02-12T21:52:43Z) - Robust Optimization as Data Augmentation for Large-scale Graphs [117.2376815614148]
学習中に勾配に基づく逆方向摂動を伴うノード特徴を反復的に拡張するFLAG(Free Large-scale Adversarial Augmentation on Graphs)を提案する。
FLAGはグラフデータに対する汎用的なアプローチであり、ノード分類、リンク予測、グラフ分類タスクで普遍的に機能する。
論文 参考訳（メタデータ） (2020-10-19T21:51:47Z) - GPT-GNN: Generative Pre-Training of Graph Neural Networks [93.35945182085948]
グラフニューラルネットワーク(GNN)は、グラフ構造化データのモデリングにおいて強力であることが示されている。
生成事前学習によりGNNを初期化するためのGPT-GNNフレームワークを提案する。
GPT-GNNは、様々な下流タスクにおいて、事前トレーニングを最大9.1%行うことなく、最先端のGNNモデルを大幅に上回ることを示す。
論文 参考訳（メタデータ） (2020-06-27T20:12:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。