論文の概要: Graph Neural Networks Use Graphs When They Shouldn't
- arxiv url: http://arxiv.org/abs/2309.04332v1
- Date: Fri, 8 Sep 2023 13:59:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-11 13:24:24.241584
- Title: Graph Neural Networks Use Graphs When They Shouldn't
- Title（参考訳）: グラフニューラルネットワークはグラフを使うべきでないとき
- Authors: Maya Bechler-Speicher, Ido Amos, Ran Gilad-Bachrach, Amir Globerson
- Abstract要約: グラフニューラルネットワーク(GNN)は,グラフデータの学習において主流のアプローチである。
我々は、GNNがグラフ構造を無視することでより良い解が得られるとしても、グラフ構造を過度に活用する傾向があることを示した。
本稿では,GNNが無視すべきグラフ構造に過度に適合する傾向を緩和するグラフ編集手法を提案する。
- 参考スコア（独自算出の注目度）: 29.686091109844746
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Predictions over graphs play a crucial role in various domains, including
social networks, molecular biology, medicine, and more. Graph Neural Networks
(GNNs) have emerged as the dominant approach for learning on graph data.
Instances of graph labeling problems consist of the graph-structure (i.e., the
adjacency matrix), along with node-specific feature vectors. In some cases,
this graph-structure is non-informative for the predictive task. For instance,
molecular properties such as molar mass depend solely on the constituent atoms
(node features), and not on the molecular structure. While GNNs have the
ability to ignore the graph-structure in such cases, it is not clear that they
will. In this work, we show that GNNs actually tend to overfit the
graph-structure in the sense that they use it even when a better solution can
be obtained by ignoring it. We examine this phenomenon with respect to
different graph distributions and find that regular graphs are more robust to
this overfitting. We then provide a theoretical explanation for this
phenomenon, via analyzing the implicit bias of gradient-descent-based learning
of GNNs in this setting. Finally, based on our empirical and theoretical
findings, we propose a graph-editing method to mitigate the tendency of GNNs to
overfit graph-structures that should be ignored. We show that this method
indeed improves the accuracy of GNNs across multiple benchmarks.
- Abstract（参考訳）: グラフ上の予測は、ソーシャルネットワーク、分子生物学、医学など、さまざまな分野において重要な役割を果たす。
グラフニューラルネットワーク(GNN)は,グラフデータの学習において主流のアプローチである。
グラフラベリング問題の例では、グラフ構造(つまり隣接行列)とノード固有の特徴ベクトルから構成される。
場合によっては、このグラフ構造は予測タスクに非インフォーマティブである。
例えば、モラー質量のような分子特性は構成原子(ノードの特徴)のみに依存し、分子構造には依存しない。
このような場合、GNNはグラフ構造を無視する能力を持っているが、彼らがそうするかどうかは明らかではない。
本研究では,GNNがグラフ構造を無視することで,より良い解が得られるとしても,グラフ構造をオーバーフィットさせる傾向があることを示す。
この現象を異なるグラフ分布に関して検討し、正規グラフがオーバーフィッティングに対してより堅牢であることを示す。
次に,GNNの勾配差に基づく学習の暗黙バイアスを解析することにより,この現象を理論的に説明する。
最後に,我々は経験的および理論的知見に基づき,無視すべきグラフ構造をgnnが過剰に適合する傾向を緩和するグラフ編集手法を提案する。
本手法は,複数のベンチマークでGNNの精度を向上することを示す。
関連論文リスト
- Learning to Reweight for Graph Neural Network [63.978102332612906]
グラフニューラルネットワーク(GNN)は、グラフタスクに対して有望な結果を示す。
既存のGNNの一般化能力は、テストとトレーニンググラフデータの間に分散シフトが存在する場合に低下する。
本稿では,分布外一般化能力を大幅に向上させる非線形グラフデコリレーション法を提案する。
論文 参考訳（メタデータ） (2023-12-19T12:25:10Z) - Training Graph Neural Networks on Growing Stochastic Graphs [114.75710379125412]
グラフニューラルネットワーク(GNN)は、ネットワーク化されたデータの意味のあるパターンを活用するために、グラフ畳み込みに依存している。
我々は,成長するグラフ列の極限オブジェクトであるグラフオンを利用して,非常に大きなグラフ上のGNNを学習することを提案する。
論文 参考訳（メタデータ） (2022-10-27T16:00:45Z) - FoSR: First-order spectral rewiring for addressing oversquashing in GNNs [0.0]
グラフニューラルネットワーク(GNN)は、グラフのエッジに沿ってメッセージを渡すことによって、グラフデータの構造を活用することができる。
本稿では,グラフにエッジを体系的に付加することで過疎化を防止する計算効率のよいアルゴリズムを提案する。
提案アルゴリズムは,いくつかのグラフ分類タスクにおいて,既存のグラフリウィリング手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2022-10-21T07:58:03Z) - Graph Anomaly Detection with Graph Neural Networks: Current Status and
Challenges [9.076649460696402]
グラフニューラルネットワーク(GNN)は広く研究され、困難な機械学習タスクを成功させた。
本調査は,GNNに基づくグラフ異常検出手法の総合的なレビューとしては初めてである。
論文 参考訳（メタデータ） (2022-09-29T16:47:57Z) - A Topological characterisation of Weisfeiler-Leman equivalence classes [0.0]
グラフニューラルネットワーク(GNN)は、グラフと信号をグラフ上で処理することを目的とした学習モデルである。
本稿では、GNNが区別できないグラフのクラスを完全に特徴づけるために、被覆空間の理論に依存する。
データセット内の識別不能グラフの数は,ノード数とともに指数関数的に増加することを示す。
論文 参考訳（メタデータ） (2022-06-23T17:28:55Z) - Graph Neural Networks for Graphs with Heterophily: A Survey [98.45621222357397]
異種グラフに対するグラフニューラルネットワーク(GNN)の総合的なレビューを提供する。
具体的には,既存の異好性GNNモデルを本質的に支配する系統分類法を提案する。
グラフヘテロフィリーと様々なグラフ研究領域の相関を議論し、より効果的なGNNの開発を促進することを目的とした。
論文 参考訳（メタデータ） (2022-02-14T23:07:47Z) - Transferability Properties of Graph Neural Networks [125.71771240180654]
グラフニューラルネットワーク(GNN)は、中規模グラフでサポートされているデータから表現を学ぶのに成功している。
適度な大きさのグラフ上でGNNを訓練し、それらを大規模グラフに転送する問題について検討する。
その結果, (i) グラフサイズに応じて転送誤差が減少し, (ii) グラフフィルタは非線型性の散乱挙動によってGNNにおいて緩和されるような転送可能性-識別可能性トレードオフを有することがわかった。
論文 参考訳（メタデータ） (2021-12-09T00:08:09Z) - Imbalanced Graph Classification via Graph-of-Graph Neural Networks [16.589373163769853]
グラフニューラルネットワーク(GNN)は、グラフの分類ラベルを識別するグラフ表現の学習において、前例のない成功を収めている。
本稿では,グラフ不均衡問題を軽減する新しいフレームワークであるグラフ・オブ・グラフニューラルネットワーク(G$2$GNN)を提案する。
提案したG$2$GNNは,F1-macroとF1-microのスコアにおいて,多くのベースラインを約5%上回る性能を示した。
論文 参考訳（メタデータ） (2021-12-01T02:25:47Z) - Increase and Conquer: Training Graph Neural Networks on Growing Graphs [116.03137405192356]
本稿では,このグラフからBernoulliをサンプリングしたグラフ上でGNNをトレーニングすることで,WNN(Graphon Neural Network)を学習する問題を考察する。
これらの結果から着想を得た大規模グラフ上でGNNを学習するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-06-07T15:05:59Z) - XGNN: Towards Model-Level Explanations of Graph Neural Networks [113.51160387804484]
グラフニューラルネットワーク(GNN)は、隣の情報を集約して組み合わせることでノードの特徴を学習する。
GNNはブラックボックスとして扱われ、人間の知的な説明が欠けている。
我々はモデルレベルでGNNを解釈する新しい手法 XGNN を提案する。
論文 参考訳（メタデータ） (2020-06-03T23:52:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。