論文の概要: Graph Mixture of Experts: Learning on Large-Scale Graphs with Explicit Diversity Modeling

• arxiv url: http://arxiv.org/abs/2304.02806v2
• Date: Tue, 17 Oct 2023 04:50:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-18 22:10:05.832456
• Title: Graph Mixture of Experts: Learning on Large-Scale Graphs with Explicit Diversity Modeling
• Title（参考訳）: エキスパートのグラフ混合: 明示的な多様性モデリングによる大規模グラフの学習
• Authors: Haotao Wang, Ziyu Jiang, Yuning You, Yan Han, Gaowen Liu, Jayanth Srinivasa, Ramana Rao Kompella, Zhangyang Wang
• Abstract要約: グラフニューラルネットワーク(GNN)は、グラフデータからの学習に広く応用されている。 GNNの一般化能力を強化するため、グラフ強化のような技術を用いて、トレーニンググラフ構造を増強することが慣例となっている。 本研究では,GNNにMixture-of-Experts(MoE)の概念を導入する。
• 参考スコア（独自算出の注目度）: 60.0185734837814
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph neural networks (GNNs) have found extensive applications in learning from graph data. However, real-world graphs often possess diverse structures and comprise nodes and edges of varying types. To bolster the generalization capacity of GNNs, it has become customary to augment training graph structures through techniques like graph augmentations and large-scale pre-training on a wider array of graphs. Balancing this diversity while avoiding increased computational costs and the notorious trainability issues of GNNs is crucial. This study introduces the concept of Mixture-of-Experts (MoE) to GNNs, with the aim of augmenting their capacity to adapt to a diverse range of training graph structures, without incurring explosive computational overhead. The proposed Graph Mixture of Experts (GMoE) model empowers individual nodes in the graph to dynamically and adaptively select more general information aggregation experts. These experts are trained to capture distinct subgroups of graph structures and to incorporate information with varying hop sizes, where those with larger hop sizes specialize in gathering information over longer distances. The effectiveness of GMoE is validated through a series of experiments on a diverse set of tasks, including graph, node, and link prediction, using the OGB benchmark. Notably, it enhances ROC-AUC by $1.81\%$ in ogbg-molhiv and by $1.40\%$ in ogbg-molbbbp, when compared to the non-MoE baselines. Our code is publicly available at https://github.com/VITA-Group/Graph-Mixture-of-Experts.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、グラフデータからの学習に広く応用されている。 しかし、実世界のグラフはしばしば多様な構造を持ち、様々なタイプのノードとエッジから構成される。 GNNの一般化能力を強化するため、グラフの拡張やグラフのより広い配列での大規模事前学習といった手法により、グラフ構造を訓練する慣例となっている。 この多様性のバランスを保ちながら、計算コストの増大と、GNNのトレーニング性に関する悪名高い問題を回避することが重要である。 本研究では,Mixture-of-Experts(MoE)の概念をGNNに導入し,爆発的な計算オーバーヘッドを発生させることなく,多種多様なトレーニンググラフ構造に対応する能力を高めることを目的とする。 提案したグラフ混合専門家(GMoE)モデルは,グラフ内の個々のノードに対して,より一般的な情報集約専門家を動的かつ適応的に選択することを可能にする。 これらの専門家は、異なるグラフ構造のサブグループを捕捉し、より長い距離で情報を集めることに特化したホップサイズの異なる情報を組み込むように訓練されている。 GMoEの有効性は、OGBベンチマークを用いて、グラフ、ノード、リンク予測を含む様々なタスクの一連の実験を通じて検証される。 特に、ROC-AUCはOgbg-molhivで1.81\%、Ogbg-molbbbpで1.40\%、非MoEベースラインで比較すると改善されている。 私たちのコードはhttps://github.com/VITA-Group/Graph-Mixture-of-Experts.comで公開されています。

関連論文リスト

• DA-MoE: Addressing Depth-Sensitivity in Graph-Level Analysis through Mixture of Experts [70.21017141742763]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データを処理することで人気を集めている。 既存のメソッドは通常、固定数のGNNレイヤを使用して、すべてのグラフの表現を生成する。 本稿では,GNNに2つの改良を加えたDA-MoE法を提案する。
  論文  参考訳（メタデータ） (2024-11-05T11:46:27Z)
• GraphFM: A Scalable Framework for Multi-Graph Pretraining [2.882104808886318]
  本稿では,さまざまな領域のグラフデータセットにまたがるノード分類タスクに適した,スケーラブルなマルチグラフ・マルチタスク事前学習手法を提案する。 我々は,740万以上のノードと1億1900万のエッジからなる152のグラフデータセットのモデルをトレーニングすることで,このアプローチの有効性を実証する。 以上の結果から,多種多様な実・合成グラフの事前学習により適応性と安定性が向上し,最先端のスペシャリストモデルと競合する結果が得られた。
  論文  参考訳（メタデータ） (2024-07-16T16:51:43Z)
• SPGNN: Recognizing Salient Subgraph Patterns via Enhanced Graph Convolution and Pooling [25.555741218526464]
  グラフニューラルネットワーク(GNN)は、グラフやネットワークのような非ユークリッドデータ上での機械学習の分野に革命をもたらした。 本稿では,ノード表現をインジェクティブに更新する結合型グラフ畳み込み機構を提案する。 また,WL-SortPoolと呼ばれるグラフプーリングモジュールを設計し,重要なサブグラフパターンをディープラーニングで学習する。
  論文  参考訳（メタデータ） (2024-04-21T13:11:59Z)
• Node Feature Extraction by Self-Supervised Multi-scale Neighborhood Prediction [123.20238648121445]
  我々は、新しい自己教師型学習フレームワーク、グラフ情報支援ノード機能exTraction (GIANT)を提案する。 GIANT は eXtreme Multi-label Classification (XMC) 形式を利用しており、これはグラフ情報に基づいた言語モデルの微調整に不可欠である。 我々は,Open Graph Benchmarkデータセット上での標準GNNパイプラインよりもGIANTの方が優れた性能を示す。
  論文  参考訳（メタデータ） (2021-10-29T19:55:12Z)
• Breaking the Limit of Graph Neural Networks by Improving the Assortativity of Graphs with Local Mixing Patterns [19.346133577539394]
  グラフニューラルネットワーク(GNN)は、複数のグラフベースの学習タスクで大きな成功を収めています。 入力グラフを近接情報と構造情報の両方を含む計算グラフに変換することに集中する。 構造と近接度を適応的に選択することで,様々な混合条件下での性能が向上することを示す。
  論文  参考訳（メタデータ） (2021-06-11T19:18:34Z)
• Graph Contrastive Learning Automated [94.41860307845812]
  グラフコントラスト学習(GraphCL)は、有望な表現学習性能とともに登場した。 GraphCLのヒンジがアドホックなデータ拡張に与える影響は、データセット毎に手動で選択する必要がある。 本稿では,グラフデータ上でGraphCLを実行する際に,データ拡張を自動的に,適応的に動的に選択する統合バイレベル最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-10T16:35:27Z)
• A Unified Lottery Ticket Hypothesis for Graph Neural Networks [82.31087406264437]
  本稿では,グラフ隣接行列とモデルの重み付けを同時に行う統一GNNスペーシフィケーション(UGS)フレームワークを提案する。 グラフ宝くじ(GLT)をコアサブデータセットとスパースサブネットワークのペアとして定義することにより、人気のある宝くじチケット仮説を初めてGNNsにさらに一般化します。
  論文  参考訳（メタデータ） (2021-02-12T21:52:43Z)
• Graph Contrastive Learning with Augmentations [109.23158429991298]
  グラフデータの教師なし表現を学習するためのグラフコントラスト学習(GraphCL)フレームワークを提案する。 我々のフレームワークは、最先端の手法と比較して、類似またはより良い一般化可能性、転送可能性、堅牢性のグラフ表現を作成できることを示す。
  論文  参考訳（メタデータ） (2020-10-22T20:13:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。