論文の概要: Graph Mixture of Experts: Learning on Large-Scale Graphs with Explicit
Diversity Modeling
- arxiv url: http://arxiv.org/abs/2304.02806v2
- Date: Tue, 17 Oct 2023 04:50:19 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-18 22:10:05.832456
- Title: Graph Mixture of Experts: Learning on Large-Scale Graphs with Explicit
Diversity Modeling
- Title(参考訳): エキスパートのグラフ混合: 明示的な多様性モデリングによる大規模グラフの学習
- Authors: Haotao Wang, Ziyu Jiang, Yuning You, Yan Han, Gaowen Liu, Jayanth
Srinivasa, Ramana Rao Kompella, Zhangyang Wang
- Abstract要約: グラフニューラルネットワーク(GNN)は、グラフデータからの学習に広く応用されている。
GNNの一般化能力を強化するため、グラフ強化のような技術を用いて、トレーニンググラフ構造を増強することが慣例となっている。
本研究では,GNNにMixture-of-Experts(MoE)の概念を導入する。
- 参考スコア(独自算出の注目度): 60.0185734837814
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph neural networks (GNNs) have found extensive applications in learning
from graph data. However, real-world graphs often possess diverse structures
and comprise nodes and edges of varying types. To bolster the generalization
capacity of GNNs, it has become customary to augment training graph structures
through techniques like graph augmentations and large-scale pre-training on a
wider array of graphs. Balancing this diversity while avoiding increased
computational costs and the notorious trainability issues of GNNs is crucial.
This study introduces the concept of Mixture-of-Experts (MoE) to GNNs, with the
aim of augmenting their capacity to adapt to a diverse range of training graph
structures, without incurring explosive computational overhead. The proposed
Graph Mixture of Experts (GMoE) model empowers individual nodes in the graph to
dynamically and adaptively select more general information aggregation experts.
These experts are trained to capture distinct subgroups of graph structures and
to incorporate information with varying hop sizes, where those with larger hop
sizes specialize in gathering information over longer distances. The
effectiveness of GMoE is validated through a series of experiments on a diverse
set of tasks, including graph, node, and link prediction, using the OGB
benchmark. Notably, it enhances ROC-AUC by $1.81\%$ in ogbg-molhiv and by
$1.40\%$ in ogbg-molbbbp, when compared to the non-MoE baselines. Our code is
publicly available at https://github.com/VITA-Group/Graph-Mixture-of-Experts.
- Abstract(参考訳): グラフニューラルネットワーク(GNN)は、グラフデータからの学習に広く応用されている。
しかし、実世界のグラフはしばしば多様な構造を持ち、様々なタイプのノードとエッジから構成される。
GNNの一般化能力を強化するため、グラフの拡張やグラフのより広い配列での大規模事前学習といった手法により、グラフ構造を訓練する慣例となっている。
この多様性のバランスを保ちながら、計算コストの増大と、GNNのトレーニング性に関する悪名高い問題を回避することが重要である。
本研究では,Mixture-of-Experts(MoE)の概念をGNNに導入し,爆発的な計算オーバーヘッドを発生させることなく,多種多様なトレーニンググラフ構造に対応する能力を高めることを目的とする。
提案したグラフ混合専門家(GMoE)モデルは,グラフ内の個々のノードに対して,より一般的な情報集約専門家を動的かつ適応的に選択することを可能にする。
これらの専門家は、異なるグラフ構造のサブグループを捕捉し、より長い距離で情報を集めることに特化したホップサイズの異なる情報を組み込むように訓練されている。
GMoEの有効性は、OGBベンチマークを用いて、グラフ、ノード、リンク予測を含む様々なタスクの一連の実験を通じて検証される。
特に、ROC-AUCはOgbg-molhivで1.81\%、Ogbg-molbbbpで1.40\%、非MoEベースラインで比較すると改善されている。
私たちのコードはhttps://github.com/VITA-Group/Graph-Mixture-of-Experts.comで公開されています。
関連論文リスト
- OpenGraph: Towards Open Graph Foundation Models [22.929100194849113]
本研究では,多種多様なグラフデータに存在する複雑なトポロジ的パターンを理解するための一般グラフ基盤モデルを構築した。
本稿では,グラフモデルに統一的なグラフトークン化手法を提案する。
また,グローバルなトポロジ的コンテキスト内のノード依存性を効果的にキャプチャするスケーラブルなグラフ変換器を開発した。
論文 参考訳(メタデータ) (2024-03-02T08:05:03Z) - GLISP: A Scalable GNN Learning System by Exploiting Inherent Structural
Properties of Graphs [5.410321469222541]
産業規模グラフのためのサンプリングベースGNN学習システムであるGLISPを提案する。
GLISPは、グラフパーティショナ、グラフサンプリングサービス、グラフ推論エンジンの3つのコアコンポーネントで構成されている。
実験の結果、GLISPはトレーニングと推論タスクのために既存のGNNシステムよりも最大6.53タイム、70.77タイムのスピードアップを達成した。
論文 参考訳(メタデータ) (2024-01-06T02:59:24Z) - Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。
GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。
提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
論文 参考訳(メタデータ) (2022-03-03T09:53:53Z) - Node Feature Extraction by Self-Supervised Multi-scale Neighborhood
Prediction [123.20238648121445]
我々は、新しい自己教師型学習フレームワーク、グラフ情報支援ノード機能exTraction (GIANT)を提案する。
GIANT は eXtreme Multi-label Classification (XMC) 形式を利用しており、これはグラフ情報に基づいた言語モデルの微調整に不可欠である。
我々は,Open Graph Benchmarkデータセット上での標準GNNパイプラインよりもGIANTの方が優れた性能を示す。
論文 参考訳(メタデータ) (2021-10-29T19:55:12Z) - Breaking the Limit of Graph Neural Networks by Improving the
Assortativity of Graphs with Local Mixing Patterns [19.346133577539394]
グラフニューラルネットワーク(GNN)は、複数のグラフベースの学習タスクで大きな成功を収めています。
入力グラフを近接情報と構造情報の両方を含む計算グラフに変換することに集中する。
構造と近接度を適応的に選択することで,様々な混合条件下での性能が向上することを示す。
論文 参考訳(メタデータ) (2021-06-11T19:18:34Z) - Graph Contrastive Learning Automated [94.41860307845812]
グラフコントラスト学習(GraphCL)は、有望な表現学習性能とともに登場した。
GraphCLのヒンジがアドホックなデータ拡張に与える影響は、データセット毎に手動で選択する必要がある。
本稿では,グラフデータ上でGraphCLを実行する際に,データ拡張を自動的に,適応的に動的に選択する統合バイレベル最適化フレームワークを提案する。
論文 参考訳(メタデータ) (2021-06-10T16:35:27Z) - A Unified Lottery Ticket Hypothesis for Graph Neural Networks [82.31087406264437]
本稿では,グラフ隣接行列とモデルの重み付けを同時に行う統一GNNスペーシフィケーション(UGS)フレームワークを提案する。
グラフ宝くじ(GLT)をコアサブデータセットとスパースサブネットワークのペアとして定義することにより、人気のある宝くじチケット仮説を初めてGNNsにさらに一般化します。
論文 参考訳(メタデータ) (2021-02-12T21:52:43Z) - Graph Contrastive Learning with Augmentations [109.23158429991298]
グラフデータの教師なし表現を学習するためのグラフコントラスト学習(GraphCL)フレームワークを提案する。
我々のフレームワークは、最先端の手法と比較して、類似またはより良い一般化可能性、転送可能性、堅牢性のグラフ表現を作成できることを示す。
論文 参考訳(メタデータ) (2020-10-22T20:13:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。