論文の概要: Graph Mixture of Experts: Learning on Large-Scale Graphs with Explicit Diversity Modeling

• arxiv url: http://arxiv.org/abs/2304.02806v1
• Date: Thu, 6 Apr 2023 01:09:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-07 15:43:25.990547
• Title: Graph Mixture of Experts: Learning on Large-Scale Graphs with Explicit Diversity Modeling
• Title（参考訳）: エキスパートのグラフ混合: 明示的な多様性モデリングによる大規模グラフの学習
• Authors: Haotao Wang, Ziyu Jiang, Yan Han, Zhangyang Wang
• Abstract要約: グラフニューラルネットワーク(GNN)は、グラフデータの学習に広く応用されている。 本稿では,GNNにMixture-of-Expert(MoE)の概念を導入し,学習グラフ構造の多様性に対応する能力を高めることを目的とする。
• 参考スコア（独自算出の注目度）: 85.941691200353
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph neural networks (GNNs) have been widely applied to learning over graph data. Yet, real-world graphs commonly exhibit diverse graph structures and contain heterogeneous nodes and edges. Moreover, to enhance the generalization ability of GNNs, it has become common practice to further increase the diversity of training graph structures by incorporating graph augmentations and/or performing large-scale pre-training on more graphs. Therefore, it becomes essential for a GNN to simultaneously model diverse graph structures. Yet, naively increasing the GNN model capacity will suffer from both higher inference costs and the notorious trainability issue of GNNs. This paper introduces the Mixture-of-Expert (MoE) idea to GNNs, aiming to enhance their ability to accommodate the diversity of training graph structures, without incurring computational overheads. Our new Graph Mixture of Expert (GMoE) model enables each node in the graph to dynamically select its own optimal \textit{information aggregation experts}. These experts are trained to model different subgroups of graph structures in the training set. Additionally, GMoE includes information aggregation experts with varying aggregation hop sizes, where the experts with larger hop sizes are specialized in capturing information over longer ranges. The effectiveness of GMoE is verified through experimental results on a large variety of graph, node, and link prediction tasks in the OGB benchmark. For instance, it enhances ROC-AUC by $1.81\%$ in ogbg-molhiv and by $1.40\%$ in ogbg-molbbbp, as compared to the non-MoE baselines. Our code is available at https://github.com/VITA-Group/Graph-Mixture-of-Experts.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、グラフデータの学習に広く応用されている。 しかし、実世界のグラフは一般的に様々なグラフ構造を示し、異質なノードやエッジを含む。 さらに, GNNの一般化能力を高めるために, グラフの強化や大規模事前学習を行うことにより, 学習グラフ構造の多様性を高めることが一般的になっている。 したがって、GNNは多様なグラフ構造を同時にモデル化することが不可欠である。 しかし、GNNモデルの能力の増大は、推論コストの上昇と、GNNのトレーニング性に関する悪名高い問題に悩まされる。 本稿では,gnnにmoe(mixed-of-expert)概念を導入し,計算オーバーヘッドを伴わずに,トレーニンググラフ構造の多様性に対応する能力を高めることを目的とする。 新しいグラフミックス・オブ・エキスパート(gmoe)モデルにより、グラフの各ノードが最適な \textit{information aggregate experts} を動的に選択できる。 これらの専門家は、トレーニングセット内のグラフ構造の異なるサブグループをモデル化するように訓練される。 さらにgmoeには、アグリゲーションホップサイズが異なる情報アグリゲーション専門家が含まれており、より大きなホップサイズを持つ専門家は、より広い範囲の情報をキャプチャすることに特化したものだ。 GMoEの有効性は、OGBベンチマークにおける多種多様なグラフ、ノード、リンク予測タスクの実験結果によって検証される。 例えば、ROC-AUCをogbg-molhivで$1.81\%、ogbg-molbbbpで$1.40\%、非MoEベースラインと比較して拡張する。 私たちのコードはhttps://github.com/VITA-Group/Graph-Mixture-of-Expertsで公開されています。

関連論文リスト

• Learning From Graph-Structured Data: Addressing Design Issues and Exploring Practical Applications in Graph Representation Learning [2.492884361833709]
  グラフ表現学習とグラフニューラルネットワーク(GNN)の最近の進歩を概観する。 グラフ構造化データを扱うように設計されたGNNは、複雑な関係情報から洞察と予測を引き出すのに長けている。 我々の研究は、GNNの能力を掘り下げ、その基礎設計と現実の課題に対処するための応用について調べている。
  論文  参考訳（メタデータ） (2024-11-09T19:10:33Z)
• DA-MoE: Addressing Depth-Sensitivity in Graph-Level Analysis through Mixture of Experts [70.21017141742763]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データを処理することで人気を集めている。 既存のメソッドは通常、固定数のGNNレイヤを使用して、すべてのグラフの表現を生成する。 本稿では,GNNに2つの改良を加えたDA-MoE法を提案する。
  論文  参考訳（メタデータ） (2024-11-05T11:46:27Z)
• GraphFM: A Scalable Framework for Multi-Graph Pretraining [2.882104808886318]
  本稿では,さまざまな領域のグラフデータセットにまたがるノード分類タスクに適した,スケーラブルなマルチグラフ・マルチタスク事前学習手法を提案する。 我々は,740万以上のノードと1億1900万のエッジからなる152のグラフデータセットのモデルをトレーニングすることで,このアプローチの有効性を実証する。 以上の結果から,多種多様な実・合成グラフの事前学習により適応性と安定性が向上し,最先端のスペシャリストモデルと競合する結果が得られた。
  論文  参考訳（メタデータ） (2024-07-16T16:51:43Z)
• SPGNN: Recognizing Salient Subgraph Patterns via Enhanced Graph Convolution and Pooling [25.555741218526464]
  グラフニューラルネットワーク(GNN)は、グラフやネットワークのような非ユークリッドデータ上での機械学習の分野に革命をもたらした。 本稿では,ノード表現をインジェクティブに更新する結合型グラフ畳み込み機構を提案する。 また,WL-SortPoolと呼ばれるグラフプーリングモジュールを設計し,重要なサブグラフパターンをディープラーニングで学習する。
  論文  参考訳（メタデータ） (2024-04-21T13:11:59Z)
• Node Feature Extraction by Self-Supervised Multi-scale Neighborhood Prediction [123.20238648121445]
  我々は、新しい自己教師型学習フレームワーク、グラフ情報支援ノード機能exTraction (GIANT)を提案する。 GIANT は eXtreme Multi-label Classification (XMC) 形式を利用しており、これはグラフ情報に基づいた言語モデルの微調整に不可欠である。 我々は,Open Graph Benchmarkデータセット上での標準GNNパイプラインよりもGIANTの方が優れた性能を示す。
  論文  参考訳（メタデータ） (2021-10-29T19:55:12Z)
• Breaking the Limit of Graph Neural Networks by Improving the Assortativity of Graphs with Local Mixing Patterns [19.346133577539394]
  グラフニューラルネットワーク(GNN)は、複数のグラフベースの学習タスクで大きな成功を収めています。 入力グラフを近接情報と構造情報の両方を含む計算グラフに変換することに集中する。 構造と近接度を適応的に選択することで,様々な混合条件下での性能が向上することを示す。
  論文  参考訳（メタデータ） (2021-06-11T19:18:34Z)
• Graph Contrastive Learning Automated [94.41860307845812]
  グラフコントラスト学習(GraphCL)は、有望な表現学習性能とともに登場した。 GraphCLのヒンジがアドホックなデータ拡張に与える影響は、データセット毎に手動で選択する必要がある。 本稿では,グラフデータ上でGraphCLを実行する際に,データ拡張を自動的に,適応的に動的に選択する統合バイレベル最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-10T16:35:27Z)
• A Unified Lottery Ticket Hypothesis for Graph Neural Networks [82.31087406264437]
  本稿では,グラフ隣接行列とモデルの重み付けを同時に行う統一GNNスペーシフィケーション(UGS)フレームワークを提案する。 グラフ宝くじ(GLT)をコアサブデータセットとスパースサブネットワークのペアとして定義することにより、人気のある宝くじチケット仮説を初めてGNNsにさらに一般化します。
  論文  参考訳（メタデータ） (2021-02-12T21:52:43Z)
• Graph Contrastive Learning with Augmentations [109.23158429991298]
  グラフデータの教師なし表現を学習するためのグラフコントラスト学習(GraphCL)フレームワークを提案する。 我々のフレームワークは、最先端の手法と比較して、類似またはより良い一般化可能性、転送可能性、堅牢性のグラフ表現を作成できることを示す。
  論文  参考訳（メタデータ） (2020-10-22T20:13:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。