論文の概要: GraphMETRO: Mitigating Complex Distribution Shifts in GNNs via Mixture
of Aligned Experts
- arxiv url: http://arxiv.org/abs/2312.04693v1
- Date: Thu, 7 Dec 2023 20:56:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-11 16:55:32.242057
- Title: GraphMETRO: Mitigating Complex Distribution Shifts in GNNs via Mixture
of Aligned Experts
- Title(参考訳): GraphMETRO: 専門家の混在によるGNNの複雑な分散シフトの緩和
- Authors: Shirley Wu, Kaidi Cao, Bruno Ribeiro, James Zou, Jure Leskovec
- Abstract要約: 複雑な分散を一般化するグラフニューラルネットワーク(GNN)の能力は、現実世界のアプリケーションにとって不可欠である。
複雑な分散シフトの下でGNNの一般化を促進する新しいフレームワークであるGraphMETROを提案する。
合成および実世界のデータセットに関する我々の実験は、GraphMETROの優位性と解釈可能性を示している。
- 参考スコア(独自算出の注目度): 81.0171665357916
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph Neural Networks' (GNNs) ability to generalize across complex
distributions is crucial for real-world applications. However, prior research
has primarily focused on specific types of distribution shifts, such as larger
graph size, or inferred shifts from constructed data environments, which is
highly limited when confronted with multiple and nuanced distribution shifts.
For instance, in a social graph, a user node might experience increased
interactions and content alterations, while other user nodes encounter distinct
shifts. Neglecting such complexities significantly impedes generalization. To
address it, we present GraphMETRO, a novel framework that enhances GNN
generalization under complex distribution shifts in both node and graph-level
tasks. Our approach employs a mixture-of-experts (MoE) architecture with a
gating model and expert models aligned in a shared representation space. The
gating model identifies key mixture components governing distribution shifts,
while each expert generates invariant representations w.r.t. a mixture
component. Finally, GraphMETRO aggregates representations from multiple experts
to generate the final invariant representation. Our experiments on synthetic
and realworld datasets demonstrate GraphMETRO's superiority and
interpretability. To highlight, GraphMETRO achieves state-of-the-art
performances on four real-world datasets from GOOD benchmark, outperforming the
best baselines on WebKB and Twitch datasets by 67% and 4.2%, respectively.
- Abstract(参考訳): 複雑な分散を一般化するグラフニューラルネットワーク(GNN)の能力は、現実世界のアプリケーションにとって不可欠である。
しかし、以前の研究は、グラフサイズを大きくしたり、構築されたデータ環境から推定されたシフトなど、特定の種類の分散シフトに重点を置いてきた。
例えば、ソーシャルグラフでは、ユーザノードはインタラクションやコンテンツの変更の増加を経験し、他のユーザノードは異なるシフトに遭遇する。
そのような複雑さを無視することは一般化を著しく阻害する。
そこで我々は,ノードレベルのタスクとグラフレベルのタスクの両方において,複雑な分散シフトの下でGNNの一般化を促進する新しいフレームワークであるGraphMETROを提案する。
提案手法では,共有表現空間に並んだゲーティングモデルとエキスパートモデルとを併用したMoEアーキテクチャを用いる。
ゲーティングモデルは、分散シフトを管理する鍵混合成分を特定し、各専門家は混合成分の不変表現を生成する。
最後に、GraphMETROは複数の専門家の表現を集約し、最終的な不変表現を生成する。
合成および実世界のデータセットに関する実験は、GraphMETROの優位性と解釈可能性を示している。
GraphMETROは、GOODベンチマークから4つの実世界のデータセットの最先端のパフォーマンスを達成し、WebKBとTwitchデータセットのベースラインをそれぞれ67%と4.2%で上回っている。
関連論文リスト
- Graph Invariant Learning with Subgraph Co-mixup for Out-Of-Distribution
Generalization [51.913685334368104]
本稿では,変分パターンと変分パターンの混合戦略に基づく新しいグラフ不変学習手法を提案する。
本手法は, 各種分布シフト下での最先端性能を著しく向上させる。
論文 参考訳(メタデータ) (2023-12-18T07:26:56Z) - GraphGLOW: Universal and Generalizable Structure Learning for Graph
Neural Networks [72.01829954658889]
本稿では,この新たな問題設定の数学的定義を紹介する。
一つのグラフ共有構造学習者と複数のグラフ固有GNNを協調する一般的なフレームワークを考案する。
十分に訓練された構造学習者は、微調整なしで、目に見えない対象グラフの適応的な構造を直接生成することができる。
論文 参考訳(メタデータ) (2023-06-20T03:33:22Z) - Permutation Equivariant Graph Framelets for Heterophilous Graph Learning [6.679929638714752]
本研究では,Haar型グラフフレームレットの構築により,マルチスケール抽出を実現する手法を開発した。
ヘテロ親和性グラフの特定のデータセット上で,我々のモデルが最高の性能を達成できることが示される。
論文 参考訳(メタデータ) (2023-06-07T09:05:56Z) - Evaluating Robustness and Uncertainty of Graph Models Under Structural
Distributional Shifts [43.40315460712298]
グラフ学習におけるノードレベルの問題では、分散シフトは特に複雑である。
本稿では,グラフ構造に基づく分布変化の一般化手法を提案する。
単純なモデルは、考慮された構造的シフトにおいて、より洗練された手法よりも優れていることがよく示される。
論文 参考訳(メタデータ) (2023-02-27T15:25:21Z) - GrannGAN: Graph annotation generative adversarial networks [72.66289932625742]
本稿では,高次元分布をモデル化し,グラフスケルトンと整合した複雑な関係特徴構造を持つデータの新しい例を生成することの問題点を考察する。
提案するモデルは,タスクを2つのフェーズに分割することで,各データポイントのグラフ構造に制約されたデータ特徴を生成する問題に対処する。
第一に、与えられたグラフのノードに関連する機能の分布をモデル化し、第二に、ノードのフィーチャに条件付きでエッジ機能を補完する。
論文 参考訳(メタデータ) (2022-12-01T11:49:07Z) - Handling Distribution Shifts on Graphs: An Invariance Perspective [77.14319095965058]
グラフ上のノードレベルの予測にOOD問題を定式化する。
そこで我々は,探索から抽出までのリスク最小化という新たなドメイン不変学習手法を開発した。
理論的に有効なOOD解の保証を示すことによって,本手法の有効性を実証する。
論文 参考訳(メタデータ) (2022-02-05T02:31:01Z) - Crime Prediction with Graph Neural Networks and Multivariate Normal
Distributions [18.640610803366876]
グラフ畳み込みネットワーク(GCN)のフレキシブルな構造を利用して,高分解能領域における疎結合問題に取り組む。
グラフ畳み込みGated Recurrent Units (Graph-ConvGRU) を用いてモデルを構築し,空間的・時間的・カテゴリー的関係を学習する。
モデルが生成性だけでなく,正確性も示しています。
論文 参考訳(メタデータ) (2021-11-29T17:37:01Z) - A Deep Latent Space Model for Graph Representation Learning [10.914558012458425]
本稿では,従来の潜時変動に基づく生成モデルをディープラーニングフレームワークに組み込むために,有向グラフのための深潜時空間モデル(DLSM)を提案する。
提案モデルは,階層的変動型オートエンコーダアーキテクチャによって階層的に接続されるグラフ畳み込みネットワーク(GCN)エンコーダとデコーダから構成される。
実世界のデータセットにおける実験により,提案モデルがリンク予測とコミュニティ検出の両タスクにおける最先端のパフォーマンスを達成することを示す。
論文 参考訳(メタデータ) (2021-06-22T12:41:19Z) - Graph Mixture Density Networks [24.0362474769709]
任意の入力グラフに条件付きマルチモーダル出力分布を適合させることができる機械学習モデルの新しいファミリーであるグラフ混合密度ネットワークを導入する。
マルチモダリティと構造を両面から考えると,疫病発生の可能性に大きな改善があることが示唆された。
論文 参考訳(メタデータ) (2020-12-05T17:39:38Z) - Heterogeneous Graph Transformer [49.675064816860505]
Webスケールの不均一グラフモデリングのための不均一グラフ変換器(HGT)アーキテクチャ
動的ヘテロジニアスグラフを扱うために、HGTに相対時間符号化手法を導入する。
Web スケールのグラフデータを扱うため,ヘテロジニアスなミニバッチグラフサンプリングアルゴリズム--HGSampling--を設計し,効率的かつスケーラブルなトレーニングを行う。
論文 参考訳(メタデータ) (2020-03-03T04:49:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。