論文の概要: Investigating Out-of-Distribution Generalization of GNNs: An
Architecture Perspective
- arxiv url: http://arxiv.org/abs/2402.08228v2
- Date: Wed, 14 Feb 2024 16:26:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-15 11:55:16.577382
- Title: Investigating Out-of-Distribution Generalization of GNNs: An
Architecture Perspective
- Title(参考訳): gnnのアウトオブディストリビューション一般化に関する研究--アーキテクチャの観点から
- Authors: Kai Guo, Hongzhi Wen, Wei Jin, Yaming Guo, Jiliang Tang, Yi Chang
- Abstract要約: グラフ自己アテンション機構と疎結合アーキテクチャはグラフOOD一般化に肯定的に寄与することを示す。
我々は,グラフ自己保持機構と疎結合アーキテクチャの両方の堅牢性を活用するために,新しいGNNバックボーンモデルDGATを開発した。
- 参考スコア(独自算出の注目度): 45.352741792795186
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph neural networks (GNNs) have exhibited remarkable performance under the
assumption that test data comes from the same distribution of training data.
However, in real-world scenarios, this assumption may not always be valid.
Consequently, there is a growing focus on exploring the Out-of-Distribution
(OOD) problem in the context of graphs. Most existing efforts have primarily
concentrated on improving graph OOD generalization from two
\textbf{model-agnostic} perspectives: data-driven methods and strategy-based
learning. However, there has been limited attention dedicated to investigating
the impact of well-known \textbf{GNN model architectures} on graph OOD
generalization, which is orthogonal to existing research. In this work, we
provide the first comprehensive investigation of OOD generalization on graphs
from an architecture perspective, by examining the common building blocks of
modern GNNs. Through extensive experiments, we reveal that both the graph
self-attention mechanism and the decoupled architecture contribute positively
to graph OOD generalization. In contrast, we observe that the linear
classification layer tends to compromise graph OOD generalization capability.
Furthermore, we provide in-depth theoretical insights and discussions to
underpin these discoveries. These insights have empowered us to develop a novel
GNN backbone model, DGAT, designed to harness the robust properties of both
graph self-attention mechanism and the decoupled architecture. Extensive
experimental results demonstrate the effectiveness of our model under graph
OOD, exhibiting substantial and consistent enhancements across various training
strategies.
- Abstract(参考訳): グラフニューラルネットワーク(GNN)は、テストデータがトレーニングデータの同じ分布から来るという仮定の下で、顕著なパフォーマンスを示している。
しかし、現実のシナリオでは、この仮定は必ずしも有効とは限らない。
その結果、グラフの文脈でOOD(Out-of-Distribution)問題を探求することに注目が集まっている。
既存の取り組みのほとんどは、データ駆動手法と戦略に基づく学習という、2つの‘textbf{model-agnostic’の観点からのグラフOODの一般化の改善に集中している。
しかし、既存の研究と直交するグラフ OOD 一般化に対するよく知られた \textbf{GNN model architectures} の影響を調べることには、限定的な注意が払われている。
本稿では,近年のGNNの共通構築ブロックを調べることで,アーキテクチャの観点からのグラフのOOD一般化に関する包括的調査を行う。
広範な実験を通して、グラフ自己認識機構と疎結合アーキテクチャの両方がグラフOOD一般化に肯定的に寄与することを明らかにする。
対照的に、線形分類層はグラフOOD一般化能力を損なう傾向がある。
さらに、これらの発見を裏付ける深い理論的洞察と議論を提供する。
これらの知見により、グラフ自己保持機構と疎結合アーキテクチャの両方の堅牢性を活用するために設計された新しいGNNバックボーンモデルであるDGATを開発することができる。
広範な実験結果から,本モデルの有効性が示され,様々なトレーニング戦略において有意かつ一貫した強化が得られた。
関連論文リスト
- Graph Out-of-Distribution Generalization via Causal Intervention [74.77883794668324]
本稿では,ノードレベルの分散シフトの下で頑健なグラフニューラルネットワーク(GNN)をトレーニングするための,概念的に単純だが原則化されたアプローチを提案する。
本手法は,環境推定器と熟練GNN予測器を協調する因果推論に基づく新たな学習目標を提案する。
本モデルでは,様々な分散シフトによる一般化を効果的に向上し,グラフOOD一般化ベンチマーク上での最先端の精度を最大27.4%向上させることができる。
論文 参考訳(メタデータ) (2024-02-18T07:49:22Z) - GOODAT: Towards Test-time Graph Out-of-Distribution Detection [103.40396427724667]
グラフニューラルネットワーク(GNN)は、さまざまな領域にわたるグラフデータのモデリングに広く応用されている。
近年の研究では、特定のモデルのトレーニングや、よく訓練されたGNN上でのデータ修正に重点を置いて、OOD検出のグラフを調査している。
本稿では、GNNアーキテクチャのトレーニングデータと修正から独立して動作する、データ中心、教師なし、プラグアンドプレイのソリューションを提案する。
論文 参考訳(メタデータ) (2024-01-10T08:37:39Z) - SGOOD: Substructure-enhanced Graph-Level Out-of-Distribution Detection [4.052070217235155]
グラフレベルのOOD検出フレームワークであるSGOODを提案する。
ID グラフと OOD グラフの間には,構造的な違いがよく見られる。
SGOODは明らかにサブストラクチャを利用して、優れたパフォーマンスを達成するために強力な表現を学ぶ。
論文 参考訳(メタデータ) (2023-10-16T09:51:24Z) - Graph Structure and Feature Extrapolation for Out-of-Distribution
Generalization [37.89042347003644]
アウト・オブ・ディストリビューション(OOD)の一般化は、テスト分布がトレーニング分布からシフトする一般的な学習シナリオを扱う。
我々は,非ユークリッド空間線型補間の新しい設計により,グラフOOD一般化を実現することを提案する。
我々の設計は、根底にある因果機構を損なうことなく、OODサンプルを特定のシフトのために調整する。
論文 参考訳(メタデータ) (2023-06-13T18:46:28Z) - Towards Understanding the Generalization of Graph Neural Networks [9.217947432437546]
グラフニューラルネットワーク(GNN)は、グラフ構造化データ指向学習と表現において最も広く採用されているモデルである。
まず,帰納学習における一般化ギャップと勾配の確率境界を確立する。
理論的な結果は、一般化ギャップに影響を与えるアーキテクチャ固有の要因を明らかにする。
論文 参考訳(メタデータ) (2023-05-14T03:05:14Z) - Energy-based Out-of-Distribution Detection for Graph Neural Networks [76.0242218180483]
我々は,GNNSafeと呼ばれるグラフ上での学習のための,シンプルで強力で効率的なOOD検出モデルを提案する。
GNNSafeは、最先端技術に対するAUROCの改善を最大17.0%で達成しており、そのような未開発領域では単純だが強力なベースラインとして機能する可能性がある。
論文 参考訳(メタデータ) (2023-02-06T16:38:43Z) - Semantic Graph Neural Network with Multi-measure Learning for
Semi-supervised Classification [5.000404730573809]
近年,グラフニューラルネットワーク(GNN)が注目されている。
近年の研究では、GNNはグラフの複雑な基盤構造に弱いことが示されている。
半教師付き分類のための新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2022-12-04T06:17:11Z) - GOOD-D: On Unsupervised Graph Out-Of-Distribution Detection [67.90365841083951]
我々は,OODグラフを検出するための新しいグラフコントラスト学習フレームワークGOOD-Dを開発した。
GOOD-Dは、潜在IDパターンをキャプチャし、異なる粒度のセマンティック不整合に基づいてOODグラフを正確に検出することができる。
教師なしグラフレベルのOOD検出における先駆的な研究として,提案手法と最先端手法を比較した総合的なベンチマークを構築した。
論文 参考訳(メタデータ) (2022-11-08T12:41:58Z) - Robust Causal Graph Representation Learning against Confounding Effects [21.380907101361643]
本稿では,ロバスト因果グラフ表現学習(RCGRL)を提案する。
RCGRLは、無条件のモーメント制約の下でインストゥルメンタル変数を生成するアクティブなアプローチを導入し、グラフ表現学習モデルにより、共同設立者を排除している。
論文 参考訳(メタデータ) (2022-08-18T01:31:25Z) - Heterogeneous Graph Neural Networks using Self-supervised Reciprocally
Contrastive Learning [102.9138736545956]
不均一グラフニューラルネットワーク(HGNN)は異種グラフのモデリングと解析において非常に一般的な手法である。
我々は,ノード属性とグラフトポロジの各ガイダンスに関する2つの視点を取り入れた,新規で頑健なヘテロジニアスグラフコントラスト学習手法であるHGCLを初めて開発する。
この新しいアプローチでは,属性とトポロジに関連情報を別々にマイニングする手法として,異なるが最も適した属性とトポロジの融合機構を2つの視点に適用する。
論文 参考訳(メタデータ) (2022-04-30T12:57:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。