Fugu-MT 論文翻訳(概要): GraphMETRO: Mitigating Complex Distribution Shifts in GNNs via Mixture of Aligned Experts

論文の概要: GraphMETRO: Mitigating Complex Distribution Shifts in GNNs via Mixture of Aligned Experts

arxiv url: http://arxiv.org/abs/2312.04693v1
Date: Thu, 7 Dec 2023 20:56:07 GMT
ステータス: 処理完了
システム内更新日: 2023-12-11 16:55:32.242057
Title: GraphMETRO: Mitigating Complex Distribution Shifts in GNNs via Mixture of Aligned Experts
Title（参考訳）: GraphMETRO: 専門家の混在によるGNNの複雑な分散シフトの緩和
Authors: Shirley Wu, Kaidi Cao, Bruno Ribeiro, James Zou, Jure Leskovec
Abstract要約: 複雑な分散を一般化するグラフニューラルネットワーク(GNN)の能力は、現実世界のアプリケーションにとって不可欠である。複雑な分散シフトの下でGNNの一般化を促進する新しいフレームワークであるGraphMETROを提案する。合成および実世界のデータセットに関する我々の実験は、GraphMETROの優位性と解釈可能性を示している。
参考スコア（独自算出の注目度）: 81.0171665357916
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Graph Neural Networks' (GNNs) ability to generalize across complex distributions is crucial for real-world applications. However, prior research has primarily focused on specific types of distribution shifts, such as larger graph size, or inferred shifts from constructed data environments, which is highly limited when confronted with multiple and nuanced distribution shifts. For instance, in a social graph, a user node might experience increased interactions and content alterations, while other user nodes encounter distinct shifts. Neglecting such complexities significantly impedes generalization. To address it, we present GraphMETRO, a novel framework that enhances GNN generalization under complex distribution shifts in both node and graph-level tasks. Our approach employs a mixture-of-experts (MoE) architecture with a gating model and expert models aligned in a shared representation space. The gating model identifies key mixture components governing distribution shifts, while each expert generates invariant representations w.r.t. a mixture component. Finally, GraphMETRO aggregates representations from multiple experts to generate the final invariant representation. Our experiments on synthetic and realworld datasets demonstrate GraphMETRO's superiority and interpretability. To highlight, GraphMETRO achieves state-of-the-art performances on four real-world datasets from GOOD benchmark, outperforming the best baselines on WebKB and Twitch datasets by 67% and 4.2%, respectively.
Abstract（参考訳）: 複雑な分散を一般化するグラフニューラルネットワーク(GNN)の能力は、現実世界のアプリケーションにとって不可欠である。しかし、以前の研究は、グラフサイズを大きくしたり、構築されたデータ環境から推定されたシフトなど、特定の種類の分散シフトに重点を置いてきた。例えば、ソーシャルグラフでは、ユーザノードはインタラクションやコンテンツの変更の増加を経験し、他のユーザノードは異なるシフトに遭遇する。そのような複雑さを無視することは一般化を著しく阻害する。そこで我々は,ノードレベルのタスクとグラフレベルのタスクの両方において,複雑な分散シフトの下でGNNの一般化を促進する新しいフレームワークであるGraphMETROを提案する。提案手法では,共有表現空間に並んだゲーティングモデルとエキスパートモデルとを併用したMoEアーキテクチャを用いる。ゲーティングモデルは、分散シフトを管理する鍵混合成分を特定し、各専門家は混合成分の不変表現を生成する。最後に、GraphMETROは複数の専門家の表現を集約し、最終的な不変表現を生成する。合成および実世界のデータセットに関する実験は、GraphMETROの優位性と解釈可能性を示している。 GraphMETROは、GOODベンチマークから4つの実世界のデータセットの最先端のパフォーマンスを達成し、WebKBとTwitchデータセットのベースラインをそれぞれ67%と4.2%で上回っている。

関連論文リスト

DA-MoE: Addressing Depth-Sensitivity in Graph-Level Analysis through Mixture of Experts [70.21017141742763]
グラフニューラルネットワーク(GNN)は、グラフ構造化データを処理することで人気を集めている。既存のメソッドは通常、固定数のGNNレイヤを使用して、すべてのグラフの表現を生成する。本稿では,GNNに2つの改良を加えたDA-MoE法を提案する。
論文参考訳（メタデータ） (2024-11-05T11:46:27Z)
AnyGraph: Graph Foundation Model in the Wild [16.313146933922752]
グラフ基盤モデルは、グラフデータから堅牢で一般化可能な表現を学ぶ可能性を提供します。本研究では,主要な課題に対処するために設計された統一グラフモデルであるAnyGraphについて検討する。多様な38のグラフデータセットに対する実験は、AnyGraphの強力なゼロショット学習性能を実証した。
論文参考訳（メタデータ） (2024-08-20T09:57:13Z)
GraphFM: A Scalable Framework for Multi-Graph Pretraining [2.882104808886318]
本稿では,さまざまな領域のグラフデータセットにまたがるノード分類タスクに適した,スケーラブルなマルチグラフ・マルチタスク事前学習手法を提案する。我々は,740万以上のノードと1億1900万のエッジからなる152のグラフデータセットのモデルをトレーニングすることで,このアプローチの有効性を実証する。以上の結果から,多種多様な実・合成グラフの事前学習により適応性と安定性が向上し,最先端のスペシャリストモデルと競合する結果が得られた。
論文参考訳（メタデータ） (2024-07-16T16:51:43Z)
Hi-GMAE: Hierarchical Graph Masked Autoencoders [90.30572554544385]
階層型グラフマスク付きオートエンコーダ(Hi-GMAE) Hi-GMAEは、グラフ内の階層構造を扱うために設計された、新しいマルチスケールGMAEフレームワークである。 15のグラフデータセットに対する実験は、Hi-GMAEが17の最先端の自己管理競合より優れていることを一貫して示している。
論文参考訳（メタデータ） (2024-05-17T09:08:37Z)
GraphGLOW: Universal and Generalizable Structure Learning for Graph Neural Networks [72.01829954658889]
本稿では,この新たな問題設定の数学的定義を紹介する。一つのグラフ共有構造学習者と複数のグラフ固有GNNを協調する一般的なフレームワークを考案する。十分に訓練された構造学習者は、微調整なしで、目に見えない対象グラフの適応的な構造を直接生成することができる。
論文参考訳（メタデータ） (2023-06-20T03:33:22Z)
Graph Mixture of Experts: Learning on Large-Scale Graphs with Explicit Diversity Modeling [60.0185734837814]
グラフニューラルネットワーク(GNN)は、グラフデータからの学習に広く応用されている。 GNNの一般化能力を強化するため、グラフ強化のような技術を用いて、トレーニンググラフ構造を増強することが慣例となっている。本研究では,GNNにMixture-of-Experts(MoE)の概念を導入する。
論文参考訳（メタデータ） (2023-04-06T01:09:36Z)
GrannGAN: Graph annotation generative adversarial networks [72.66289932625742]
本稿では,高次元分布をモデル化し,グラフスケルトンと整合した複雑な関係特徴構造を持つデータの新しい例を生成することの問題点を考察する。提案するモデルは,タスクを2つのフェーズに分割することで,各データポイントのグラフ構造に制約されたデータ特徴を生成する問題に対処する。第一に、与えられたグラフのノードに関連する機能の分布をモデル化し、第二に、ノードのフィーチャに条件付きでエッジ機能を補完する。
論文参考訳（メタデータ） (2022-12-01T11:49:07Z)
Micro and Macro Level Graph Modeling for Graph Variational Auto-Encoders [16.302222204710276]
本稿では,ノードレベルの特性とグラフレベルの統計を協調的にモデル化する,新しいマルチレベルフレームワークを提案する。本稿では,ノードレベルとグラフレベルの損失を組み合わせたグラフ生成のための新しいマイクロマクロトレーニング手法を提案する。実験の結果,GraphVAEモデルにマイクロマクロモデリングを追加することで,5つのベンチマークデータセットにおいて最大2桁のグラフ品質スコアが向上することがわかった。
論文参考訳（メタデータ） (2022-10-30T13:45:21Z)
Generating the Graph Gestalt: Kernel-Regularized Graph Representation Learning [47.506013386710954]
グラフデータの完全な科学的理解は、グローバル構造とローカル構造の両方に対処する必要がある。本稿では,グラフVAEフレームワークにおける相補的目的として,両者のジョイントモデルを提案する。実験により,生成したグラフ構造の現実性は,典型的には1-2桁のグラフ構造メトリクスによって著しく向上したことが示された。
論文参考訳（メタデータ） (2021-06-29T10:48:28Z)
A Deep Latent Space Model for Graph Representation Learning [10.914558012458425]
本稿では,従来の潜時変動に基づく生成モデルをディープラーニングフレームワークに組み込むために,有向グラフのための深潜時空間モデル(DLSM)を提案する。提案モデルは,階層的変動型オートエンコーダアーキテクチャによって階層的に接続されるグラフ畳み込みネットワーク(GCN)エンコーダとデコーダから構成される。実世界のデータセットにおける実験により,提案モデルがリンク予測とコミュニティ検出の両タスクにおける最先端のパフォーマンスを達成することを示す。
論文参考訳（メタデータ） (2021-06-22T12:41:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。