論文の概要: GraphMETRO: Mitigating Complex Graph Distribution Shifts via Mixture of Aligned Experts

• arxiv url: http://arxiv.org/abs/2312.04693v2
• Date: Mon, 5 Feb 2024 10:10:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-07 03:42:32.604030
• Title: GraphMETRO: Mitigating Complex Graph Distribution Shifts via Mixture of Aligned Experts
• Title（参考訳）: GraphMETRO: 専門家の混在による複雑なグラフ分散シフトの緩和
• Authors: Shirley Wu, Kaidi Cao, Bruno Ribeiro, James Zou, Jure Leskovec
• Abstract要約: GraphMETROは、自然多様性を確実にモデル化し、複雑な分散シフトをキャプチャするグラフニューラルネットワークアーキテクチャである。 GOODベンチマークの4つのデータセットの最先端結果には、複雑な実世界の分散シフトと、WebKBおよびTwitchデータセットの67%と4.2%の改善が含まれている。
• 参考スコア（独自算出の注目度）: 81.0171665357916
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph data are inherently complex and heterogeneous, leading to a high natural diversity of distributional shifts. However, it remains unclear how to build machine learning architectures that generalize to complex non-synthetic distributional shifts naturally occurring in the real world. Here we develop GraphMETRO, a Graph Neural Network architecture, that reliably models natural diversity and captures complex distributional shifts. GraphMETRO employs a Mixture-of-Experts (MoE) architecture with a gating model and multiple expert models, where each expert model targets a specific distributional shift to produce a shift-invariant representation, and the gating model identifies shift components. Additionally, we design a novel objective that aligns the representations from different expert models to ensure smooth optimization. GraphMETRO achieves state-of-the-art results on four datasets from GOOD benchmark comprised of complex and natural real-world distribution shifts, improving by 67% and 4.2% on WebKB and Twitch datasets.
• Abstract（参考訳）: グラフデータは本質的に複雑で不均一であり、分布シフトの自然な多様性をもたらす。 しかし、現実世界で自然に発生する複雑な非合成分布シフトに一般化する機械学習アーキテクチャを構築する方法は不明である。 ここでは、自然の多様性を確実にモデル化し、複雑な分散シフトをキャプチャするグラフニューラルネットワークアーキテクチャであるGraphMETROを開発する。 graphmetroでは,ゲーティングモデルと複数のエキスパートモデルを備えたmoe(mixed-of-experts)アーキテクチャを採用している。 さらに、異なる専門家モデルからの表現をスムーズな最適化のために整列させる新しい目的を設計する。 GraphMETROは、複雑な実世界の分散シフトと、WebKBおよびTwitchデータセットの67%と4.2%の改善からなるGOODベンチマークの4つのデータセットの最先端結果を達成する。

関連論文リスト

• GraphFM: A Scalable Framework for Multi-Graph Pretraining [2.882104808886318]
  本稿では,さまざまな領域のグラフデータセットにまたがるノード分類タスクに適した,スケーラブルなマルチグラフ・マルチタスク事前学習手法を提案する。 我々は,740万以上のノードと1億1900万のエッジからなる152のグラフデータセットのモデルをトレーニングすることで,このアプローチの有効性を実証する。 以上の結果から,多種多様な実・合成グラフの事前学習により適応性と安定性が向上し,最先端のスペシャリストモデルと競合する結果が得られた。
  論文  参考訳（メタデータ） (2024-07-16T16:51:43Z)
• Hi-GMAE: Hierarchical Graph Masked Autoencoders [90.30572554544385]
  階層型グラフマスク付きオートエンコーダ(Hi-GMAE) Hi-GMAEは、グラフ内の階層構造を扱うために設計された、新しいマルチスケールGMAEフレームワークである。 15のグラフデータセットに対する実験は、Hi-GMAEが17の最先端の自己管理競合より優れていることを一貫して示している。
  論文  参考訳（メタデータ） (2024-05-17T09:08:37Z)
• Graph Invariant Learning with Subgraph Co-mixup for Out-Of-Distribution Generalization [51.913685334368104]
  本稿では,変分パターンと変分パターンの混合戦略に基づく新しいグラフ不変学習手法を提案する。 本手法は, 各種分布シフト下での最先端性能を著しく向上させる。
  論文  参考訳（メタデータ） (2023-12-18T07:26:56Z)
• Permutation Equivariant Graph Framelets for Heterophilous Graph Learning [6.679929638714752]
  本研究では,Haar型グラフフレームレットの構築により,マルチスケール抽出を実現する手法を開発した。 ヘテロ親和性グラフの特定のデータセット上で,我々のモデルが最高の性能を達成できることが示される。
  論文  参考訳（メタデータ） (2023-06-07T09:05:56Z)
• Evaluating Robustness and Uncertainty of Graph Models Under Structural Distributional Shifts [43.40315460712298]
  グラフ学習におけるノードレベルの問題では、分散シフトは特に複雑である。 本稿では,グラフ構造に基づく分布変化の一般化手法を提案する。 単純なモデルは、考慮された構造的シフトにおいて、より洗練された手法よりも優れていることがよく示される。
  論文  参考訳（メタデータ） (2023-02-27T15:25:21Z)
• GrannGAN: Graph annotation generative adversarial networks [72.66289932625742]
  本稿では,高次元分布をモデル化し,グラフスケルトンと整合した複雑な関係特徴構造を持つデータの新しい例を生成することの問題点を考察する。 提案するモデルは,タスクを2つのフェーズに分割することで,各データポイントのグラフ構造に制約されたデータ特徴を生成する問題に対処する。 第一に、与えられたグラフのノードに関連する機能の分布をモデル化し、第二に、ノードのフィーチャに条件付きでエッジ機能を補完する。
  論文  参考訳（メタデータ） (2022-12-01T11:49:07Z)
• Handling Distribution Shifts on Graphs: An Invariance Perspective [77.14319095965058]
  グラフ上のノードレベルの予測にOOD問題を定式化する。 そこで我々は,探索から抽出までのリスク最小化という新たなドメイン不変学習手法を開発した。 理論的に有効なOOD解の保証を示すことによって,本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2022-02-05T02:31:01Z)
• A Deep Latent Space Model for Graph Representation Learning [10.914558012458425]
  本稿では,従来の潜時変動に基づく生成モデルをディープラーニングフレームワークに組み込むために,有向グラフのための深潜時空間モデル(DLSM)を提案する。 提案モデルは,階層的変動型オートエンコーダアーキテクチャによって階層的に接続されるグラフ畳み込みネットワーク(GCN)エンコーダとデコーダから構成される。 実世界のデータセットにおける実験により,提案モデルがリンク予測とコミュニティ検出の両タスクにおける最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2021-06-22T12:41:19Z)
• Graph Mixture Density Networks [24.0362474769709]
  任意の入力グラフに条件付きマルチモーダル出力分布を適合させることができる機械学習モデルの新しいファミリーであるグラフ混合密度ネットワークを導入する。 マルチモダリティと構造を両面から考えると,疫病発生の可能性に大きな改善があることが示唆された。
  論文  参考訳（メタデータ） (2020-12-05T17:39:38Z)
• Heterogeneous Graph Transformer [49.675064816860505]
  Webスケールの不均一グラフモデリングのための不均一グラフ変換器(HGT)アーキテクチャ 動的ヘテロジニアスグラフを扱うために、HGTに相対時間符号化手法を導入する。 Web スケールのグラフデータを扱うため,ヘテロジニアスなミニバッチグラフサンプリングアルゴリズム--HGSampling--を設計し,効率的かつスケーラブルなトレーニングを行う。
  論文  参考訳（メタデータ） (2020-03-03T04:49:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。