論文の概要: Investigating Out-of-Distribution Generalization of GNNs: An Architecture Perspective

• arxiv url: http://arxiv.org/abs/2402.08228v1
• Date: Tue, 13 Feb 2024 05:38:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-14 16:32:25.449784
• Title: Investigating Out-of-Distribution Generalization of GNNs: An Architecture Perspective
• Title（参考訳）: gnnのアウトオブディストリビューション一般化に関する研究--アーキテクチャの観点から
• Authors: Kai Guo, Hongzhi Wen, Wei Jin, Yaming Guo, Jiliang Tang, Yi Chang
• Abstract要約: グラフ自己アテンション機構と疎結合アーキテクチャはグラフOOD一般化に肯定的に寄与することを示す。 我々は,グラフ自己保持機構と疎結合アーキテクチャの両方の堅牢性を活用するために,新しいGNNバックボーンモデルDGATを開発した。
• 参考スコア（独自算出の注目度）: 45.352741792795186
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph neural networks (GNNs) have exhibited remarkable performance under the assumption that test data comes from the same distribution of training data. However, in real-world scenarios, this assumption may not always be valid. Consequently, there is a growing focus on exploring the Out-of-Distribution (OOD) problem in the context of graphs. Most existing efforts have primarily concentrated on improving graph OOD generalization from two \textbf{model-agnostic} perspectives: data-driven methods and strategy-based learning. However, there has been limited attention dedicated to investigating the impact of well-known \textbf{GNN model architectures} on graph OOD generalization, which is orthogonal to existing research. In this work, we provide the first comprehensive investigation of OOD generalization on graphs from an architecture perspective, by examining the common building blocks of modern GNNs. Through extensive experiments, we reveal that both the graph self-attention mechanism and the decoupled architecture contribute positively to graph OOD generalization. In contrast, we observe that the linear classification layer tends to compromise graph OOD generalization capability. Furthermore, we provide in-depth theoretical insights and discussions to underpin these discoveries. These insights have empowered us to develop a novel GNN backbone model, DGAT, designed to harness the robust properties of both graph self-attention mechanism and the decoupled architecture. Extensive experimental results demonstrate the effectiveness of our model under graph OOD, exhibiting substantial and consistent enhancements across various training strategies.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、テストデータがトレーニングデータの同じ分布から来るという仮定の下で、顕著なパフォーマンスを示している。 しかし、現実のシナリオでは、この仮定は必ずしも有効とは限らない。 その結果、グラフの文脈でOOD(Out-of-Distribution)問題を探求することに注目が集まっている。 既存の取り組みのほとんどは、データ駆動手法と戦略に基づく学習という、2つの‘textbf{model-agnostic’の観点からのグラフOODの一般化の改善に集中している。 しかし、既存の研究と直交するグラフ OOD 一般化に対するよく知られた \textbf{GNN model architectures} の影響を調べることには、限定的な注意が払われている。 本稿では,近年のGNNの共通構築ブロックを調べることで,アーキテクチャの観点からのグラフのOOD一般化に関する包括的調査を行う。 広範な実験を通して、グラフ自己認識機構と疎結合アーキテクチャの両方がグラフOOD一般化に肯定的に寄与することを明らかにする。 対照的に、線形分類層はグラフOOD一般化能力を損なう傾向がある。 さらに、これらの発見を裏付ける深い理論的洞察と議論を提供する。 これらの知見により、グラフ自己保持機構と疎結合アーキテクチャの両方の堅牢性を活用するために設計された新しいGNNバックボーンモデルであるDGATを開発することができる。 広範な実験結果から,本モデルの有効性が示され,様々なトレーニング戦略において有意かつ一貫した強化が得られた。

関連論文リスト

• Subgraph Aggregation for Out-of-Distribution Generalization on Graphs [29.884717215947745]
  グラフニューラルネットワーク(GNN)におけるアウト・オブ・ディストリビューション(OOD)の一般化は注目されている。 多様なサブグラフの集合を学習するために設計された新しいフレームワークSubGraph Aggregation(SuGAr)を提案する。 合成データセットと実世界のデータセットの両方の実験では、SuGArが最先端の手法より優れていることが示されている。
  論文  参考訳（メタデータ） (2024-10-29T16:54:37Z)
• Characterizing Massive Activations of Attention Mechanism in Graph Neural Networks [0.9499648210774584]
  近年、複雑なパターンをキャプチャする能力を改善するため、注意機構がグラフニューラルネットワーク(GNN)に統合されている。 本稿では,注意層内におけるMA(Massive Activations)の出現を明らかにした最初の総合的研究について述べる。 本研究は,ZINC,TOX21,ProteINSなどのベンチマークデータセットを用いて,GNNモデルの評価を行う。
  論文  参考訳（メタデータ） (2024-09-05T12:19:07Z)
• Disentangled Generative Graph Representation Learning [51.59824683232925]
  本稿では,自己教師型学習フレームワークであるDiGGR(Disentangled Generative Graph Representation Learning)を紹介する。 潜伏要因を学習し、それをグラフマスクモデリングのガイドとして活用することを目的としている。 2つの異なるグラフ学習タスクのための11の公開データセットの実験は、DiGGRが従来よりも一貫して多くの自己教師付きメソッドを上回っていることを示している。
  論文  参考訳（メタデータ） (2024-08-24T05:13:02Z)
• GOODAT: Towards Test-time Graph Out-of-Distribution Detection [103.40396427724667]
  グラフニューラルネットワーク(GNN)は、さまざまな領域にわたるグラフデータのモデリングに広く応用されている。 近年の研究では、特定のモデルのトレーニングや、よく訓練されたGNN上でのデータ修正に重点を置いて、OOD検出のグラフを調査している。 本稿では、GNNアーキテクチャのトレーニングデータと修正から独立して動作する、データ中心、教師なし、プラグアンドプレイのソリューションを提案する。
  論文  参考訳（メタデータ） (2024-01-10T08:37:39Z)
• Graph Structure and Feature Extrapolation for Out-of-Distribution Generalization [54.64375566326931]
  アウト・オブ・ディストリビューション(OOD)の一般化は、テスト分布がトレーニング分布からシフトする一般的な学習シナリオを扱う。 我々は,非ユークリッド空間線型補間の新しい設計により,グラフOOD一般化を実現することを提案する。 我々の設計は、根底にある因果機構を損なうことなく、OODサンプルを特定のシフトのために調整する。
  論文  参考訳（メタデータ） (2023-06-13T18:46:28Z)
• Towards Understanding the Generalization of Graph Neural Networks [9.217947432437546]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データ指向学習と表現において最も広く採用されているモデルである。 まず,帰納学習における一般化ギャップと勾配の確率境界を確立する。 理論的な結果は、一般化ギャップに影響を与えるアーキテクチャ固有の要因を明らかにする。
  論文  参考訳（メタデータ） (2023-05-14T03:05:14Z)
• Energy-based Out-of-Distribution Detection for Graph Neural Networks [76.0242218180483]
  我々は,GNNSafeと呼ばれるグラフ上での学習のための,シンプルで強力で効率的なOOD検出モデルを提案する。 GNNSafeは、最先端技術に対するAUROCの改善を最大17.0%で達成しており、そのような未開発領域では単純だが強力なベースラインとして機能する可能性がある。
  論文  参考訳（メタデータ） (2023-02-06T16:38:43Z)
• Robust Causal Graph Representation Learning against Confounding Effects [21.380907101361643]
  本稿では,ロバスト因果グラフ表現学習(RCGRL)を提案する。 RCGRLは、無条件のモーメント制約の下でインストゥルメンタル変数を生成するアクティブなアプローチを導入し、グラフ表現学習モデルにより、共同設立者を排除している。
  論文  参考訳（メタデータ） (2022-08-18T01:31:25Z)
• Heterogeneous Graph Neural Networks using Self-supervised Reciprocally Contrastive Learning [102.9138736545956]
  不均一グラフニューラルネットワーク(HGNN)は異種グラフのモデリングと解析において非常に一般的な手法である。 我々は,ノード属性とグラフトポロジの各ガイダンスに関する2つの視点を取り入れた,新規で頑健なヘテロジニアスグラフコントラスト学習手法であるHGCLを初めて開発する。 この新しいアプローチでは,属性とトポロジに関連情報を別々にマイニングする手法として,異なるが最も適した属性とトポロジの融合機構を2つの視点に適用する。
  論文  参考訳（メタデータ） (2022-04-30T12:57:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。