論文の概要: GraphMETRO: Mitigating Complex Graph Distribution Shifts via Mixture of Aligned Experts

• arxiv url: http://arxiv.org/abs/2312.04693v2
• Date: Mon, 5 Feb 2024 10:10:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-07 03:42:32.604030
• Title: GraphMETRO: Mitigating Complex Graph Distribution Shifts via Mixture of Aligned Experts
• Title（参考訳）: GraphMETRO: 専門家の混在による複雑なグラフ分散シフトの緩和
• Authors: Shirley Wu, Kaidi Cao, Bruno Ribeiro, James Zou, Jure Leskovec
• Abstract要約: GraphMETROは、自然多様性を確実にモデル化し、複雑な分散シフトをキャプチャするグラフニューラルネットワークアーキテクチャである。 GOODベンチマークの4つのデータセットの最先端結果には、複雑な実世界の分散シフトと、WebKBおよびTwitchデータセットの67%と4.2%の改善が含まれている。
• 参考スコア（独自算出の注目度）: 81.0171665357916
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph data are inherently complex and heterogeneous, leading to a high natural diversity of distributional shifts. However, it remains unclear how to build machine learning architectures that generalize to complex non-synthetic distributional shifts naturally occurring in the real world. Here we develop GraphMETRO, a Graph Neural Network architecture, that reliably models natural diversity and captures complex distributional shifts. GraphMETRO employs a Mixture-of-Experts (MoE) architecture with a gating model and multiple expert models, where each expert model targets a specific distributional shift to produce a shift-invariant representation, and the gating model identifies shift components. Additionally, we design a novel objective that aligns the representations from different expert models to ensure smooth optimization. GraphMETRO achieves state-of-the-art results on four datasets from GOOD benchmark comprised of complex and natural real-world distribution shifts, improving by 67% and 4.2% on WebKB and Twitch datasets.
• Abstract（参考訳）: グラフデータは本質的に複雑で不均一であり、分布シフトの自然な多様性をもたらす。 しかし、現実世界で自然に発生する複雑な非合成分布シフトに一般化する機械学習アーキテクチャを構築する方法は不明である。 ここでは、自然の多様性を確実にモデル化し、複雑な分散シフトをキャプチャするグラフニューラルネットワークアーキテクチャであるGraphMETROを開発する。 graphmetroでは,ゲーティングモデルと複数のエキスパートモデルを備えたmoe(mixed-of-experts)アーキテクチャを採用している。 さらに、異なる専門家モデルからの表現をスムーズな最適化のために整列させる新しい目的を設計する。 GraphMETROは、複雑な実世界の分散シフトと、WebKBおよびTwitchデータセットの67%と4.2%の改善からなるGOODベンチマークの4つのデータセットの最先端結果を達成する。

関連論文リスト

• DA-MoE: Addressing Depth-Sensitivity in Graph-Level Analysis through Mixture of Experts [70.21017141742763]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データを処理することで人気を集めている。 既存のメソッドは通常、固定数のGNNレイヤを使用して、すべてのグラフの表現を生成する。 本稿では,GNNに2つの改良を加えたDA-MoE法を提案する。
  論文  参考訳（メタデータ） (2024-11-05T11:46:27Z)
• AnyGraph: Graph Foundation Model in the Wild [16.313146933922752]
  グラフ基盤モデルは、グラフデータから堅牢で一般化可能な表現を学ぶ可能性を提供します。 本研究では,主要な課題に対処するために設計された統一グラフモデルであるAnyGraphについて検討する。 多様な38のグラフデータセットに対する実験は、AnyGraphの強力なゼロショット学習性能を実証した。
  論文  参考訳（メタデータ） (2024-08-20T09:57:13Z)
• GraphFM: A Scalable Framework for Multi-Graph Pretraining [2.882104808886318]
  本稿では,さまざまな領域のグラフデータセットにまたがるノード分類タスクに適した,スケーラブルなマルチグラフ・マルチタスク事前学習手法を提案する。 我々は,740万以上のノードと1億1900万のエッジからなる152のグラフデータセットのモデルをトレーニングすることで,このアプローチの有効性を実証する。 以上の結果から,多種多様な実・合成グラフの事前学習により適応性と安定性が向上し,最先端のスペシャリストモデルと競合する結果が得られた。
  論文  参考訳（メタデータ） (2024-07-16T16:51:43Z)
• Hi-GMAE: Hierarchical Graph Masked Autoencoders [90.30572554544385]
  階層型グラフマスク付きオートエンコーダ(Hi-GMAE) Hi-GMAEは、グラフ内の階層構造を扱うために設計された、新しいマルチスケールGMAEフレームワークである。 15のグラフデータセットに対する実験は、Hi-GMAEが17の最先端の自己管理競合より優れていることを一貫して示している。
  論文  参考訳（メタデータ） (2024-05-17T09:08:37Z)
• GraphGLOW: Universal and Generalizable Structure Learning for Graph Neural Networks [72.01829954658889]
  本稿では,この新たな問題設定の数学的定義を紹介する。 一つのグラフ共有構造学習者と複数のグラフ固有GNNを協調する一般的なフレームワークを考案する。 十分に訓練された構造学習者は、微調整なしで、目に見えない対象グラフの適応的な構造を直接生成することができる。
  論文  参考訳（メタデータ） (2023-06-20T03:33:22Z)
• Graph Mixture of Experts: Learning on Large-Scale Graphs with Explicit Diversity Modeling [60.0185734837814]
  グラフニューラルネットワーク(GNN)は、グラフデータからの学習に広く応用されている。 GNNの一般化能力を強化するため、グラフ強化のような技術を用いて、トレーニンググラフ構造を増強することが慣例となっている。 本研究では,GNNにMixture-of-Experts(MoE)の概念を導入する。
  論文  参考訳（メタデータ） (2023-04-06T01:09:36Z)
• GrannGAN: Graph annotation generative adversarial networks [72.66289932625742]
  本稿では,高次元分布をモデル化し,グラフスケルトンと整合した複雑な関係特徴構造を持つデータの新しい例を生成することの問題点を考察する。 提案するモデルは,タスクを2つのフェーズに分割することで,各データポイントのグラフ構造に制約されたデータ特徴を生成する問題に対処する。 第一に、与えられたグラフのノードに関連する機能の分布をモデル化し、第二に、ノードのフィーチャに条件付きでエッジ機能を補完する。
  論文  参考訳（メタデータ） (2022-12-01T11:49:07Z)
• Micro and Macro Level Graph Modeling for Graph Variational Auto-Encoders [16.302222204710276]
  本稿では,ノードレベルの特性とグラフレベルの統計を協調的にモデル化する,新しいマルチレベルフレームワークを提案する。 本稿では,ノードレベルとグラフレベルの損失を組み合わせたグラフ生成のための新しいマイクロマクロトレーニング手法を提案する。 実験の結果,GraphVAEモデルにマイクロマクロモデリングを追加することで,5つのベンチマークデータセットにおいて最大2桁のグラフ品質スコアが向上することがわかった。
  論文  参考訳（メタデータ） (2022-10-30T13:45:21Z)
• Generating the Graph Gestalt: Kernel-Regularized Graph Representation Learning [47.506013386710954]
  グラフデータの完全な科学的理解は、グローバル構造とローカル構造の両方に対処する必要がある。 本稿では,グラフVAEフレームワークにおける相補的目的として,両者のジョイントモデルを提案する。 実験により,生成したグラフ構造の現実性は,典型的には1-2桁のグラフ構造メトリクスによって著しく向上したことが示された。
  論文  参考訳（メタデータ） (2021-06-29T10:48:28Z)
• A Deep Latent Space Model for Graph Representation Learning [10.914558012458425]
  本稿では,従来の潜時変動に基づく生成モデルをディープラーニングフレームワークに組み込むために,有向グラフのための深潜時空間モデル(DLSM)を提案する。 提案モデルは,階層的変動型オートエンコーダアーキテクチャによって階層的に接続されるグラフ畳み込みネットワーク(GCN)エンコーダとデコーダから構成される。 実世界のデータセットにおける実験により,提案モデルがリンク予測とコミュニティ検出の両タスクにおける最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2021-06-22T12:41:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。