論文の概要: DA-MoE: Addressing Depth-Sensitivity in Graph-Level Analysis through Mixture of Experts
- arxiv url: http://arxiv.org/abs/2411.03025v1
- Date: Tue, 05 Nov 2024 11:46:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-06 15:00:58.528794
- Title: DA-MoE: Addressing Depth-Sensitivity in Graph-Level Analysis through Mixture of Experts
- Title（参考訳）: DA-MoE:専門家の混在によるグラフレベル解析における奥行き感度の対応
- Authors: Zelin Yao, Chuang Liu, Xianke Meng, Yibing Zhan, Jia Wu, Shirui Pan, Wenbin Hu,
- Abstract要約: グラフニューラルネットワーク(GNN)は、グラフ構造化データを処理することで人気を集めている。
既存のメソッドは通常、固定数のGNNレイヤを使用して、すべてのグラフの表現を生成する。
本稿では,GNNに2つの改良を加えたDA-MoE法を提案する。
- 参考スコア（独自算出の注目度）: 70.21017141742763
- License:
- Abstract: Graph neural networks (GNNs) are gaining popularity for processing graph-structured data. In real-world scenarios, graph data within the same dataset can vary significantly in scale. This variability leads to depth-sensitivity, where the optimal depth of GNN layers depends on the scale of the graph data. Empirically, fewer layers are sufficient for message passing in smaller graphs, while larger graphs typically require deeper networks to capture long-range dependencies and global features. However, existing methods generally use a fixed number of GNN layers to generate representations for all graphs, overlooking the depth-sensitivity issue in graph structure data. To address this challenge, we propose the depth adaptive mixture of expert (DA-MoE) method, which incorporates two main improvements to GNN backbone: \textbf{1)} DA-MoE employs different GNN layers, each considered an expert with its own parameters. Such a design allows the model to flexibly aggregate information at different scales, effectively addressing the depth-sensitivity issue in graph data. \textbf{2)} DA-MoE utilizes GNN to capture the structural information instead of the linear projections in the gating network. Thus, the gating network enables the model to capture complex patterns and dependencies within the data. By leveraging these improvements, each expert in DA-MoE specifically learns distinct graph patterns at different scales. Furthermore, comprehensive experiments on the TU dataset and open graph benchmark (OGB) have shown that DA-MoE consistently surpasses existing baselines on various tasks, including graph, node, and link-level analyses. The code are available at \url{https://github.com/Celin-Yao/DA-MoE}.
- Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、グラフ構造化データを処理するために人気を集めている。
現実のシナリオでは、同じデータセット内のグラフデータは、スケールで大きく異なります。
この変動は、GNN層の最適深さがグラフデータのスケールに依存する深さ感度をもたらす。
経験的に、より小さなグラフでメッセージパッシングを行うのに十分なレイヤは少ないが、大きなグラフは通常、長距離依存やグローバル機能を取得するためにより深いネットワークを必要とする。
しかし、既存の手法では、グラフ構造データにおける奥行き感度の問題を見越して、通常、固定数のGNN層を用いて全てのグラフの表現を生成する。
この課題に対処するために、GNNバックボーンに2つの主な改良を加えたDA-MoE法(Deep Adaptive Mixed of Expert, DA-MoE)を提案する。
このような設計により、異なるスケールで柔軟に情報を集約することができ、グラフデータの奥行きに敏感な問題に効果的に対処することができる。
DA-MoEはGNNを利用して、ゲーティングネットワークの線形射影の代わりに構造情報をキャプチャする。
このように、ゲーティングネットワークは、モデルがデータ内の複雑なパターンや依存関係をキャプチャすることを可能にする。
これらの改善を活用することで、DA-MoEの専門家はそれぞれ異なるスケールで異なるグラフパターンを学習する。
さらに、TUデータセットとオープングラフベンチマーク(OGB)に関する包括的な実験により、DA-MoEは、グラフ、ノード、リンクレベル分析など、さまざまなタスクにおける既存のベースラインを一貫して上回っていることが示されている。
コードは \url{https://github.com/Celin-Yao/DA-MoE} で公開されている。
関連論文リスト
- Tackling Oversmoothing in GNN via Graph Sparsification: A Truss-based Approach [1.4854797901022863]
本稿では,グラフの高密度領域からエッジを抽出する新鮮で柔軟なトラスグラフスペーシフィケーションモデルを提案する。
次に、GIN、SAGPool、GMT、DiffPool、MinCutPool、HGP-SL、DMonPool、AdamGNNといった最先端のベースラインGNNとプールモデルでスパーシフィケーションモデルを利用する。
論文 参考訳（メタデータ） (2024-07-16T17:21:36Z) - Spectral Greedy Coresets for Graph Neural Networks [61.24300262316091]
ノード分類タスクにおける大規模グラフの利用は、グラフニューラルネットワーク(GNN)の現実的な応用を妨げる
本稿では,GNNのグラフコアセットについて検討し,スペクトル埋め込みに基づくエゴグラフの選択により相互依存の問題を回避する。
我々のスペクトルグレディグラフコアセット(SGGC)は、数百万のノードを持つグラフにスケールし、モデル事前学習の必要性を排除し、低ホモフィリーグラフに適用する。
論文 参考訳（メタデータ） (2024-05-27T17:52:12Z) - SPGNN: Recognizing Salient Subgraph Patterns via Enhanced Graph Convolution and Pooling [25.555741218526464]
グラフニューラルネットワーク(GNN)は、グラフやネットワークのような非ユークリッドデータ上での機械学習の分野に革命をもたらした。
本稿では,ノード表現をインジェクティブに更新する結合型グラフ畳み込み機構を提案する。
また,WL-SortPoolと呼ばれるグラフプーリングモジュールを設計し,重要なサブグラフパターンをディープラーニングで学習する。
論文 参考訳（メタデータ） (2024-04-21T13:11:59Z) - Graph Mixture of Experts: Learning on Large-Scale Graphs with Explicit
Diversity Modeling [60.0185734837814]
グラフニューラルネットワーク(GNN)は、グラフデータからの学習に広く応用されている。
GNNの一般化能力を強化するため、グラフ強化のような技術を用いて、トレーニンググラフ構造を増強することが慣例となっている。
本研究では,GNNにMixture-of-Experts(MoE)の概念を導入する。
論文 参考訳（メタデータ） (2023-04-06T01:09:36Z) - A Robust Stacking Framework for Training Deep Graph Models with
Multifaceted Node Features [61.92791503017341]
数値ノード特徴とグラフ構造を入力とするグラフニューラルネットワーク(GNN)は,グラフデータを用いた各種教師付き学習タスクにおいて,優れた性能を示した。
IID(non-graph)データをGNNに簡単に組み込むことはできない。
本稿では、グラフ認識の伝播をIDデータに意図した任意のモデルで融合するロバストな積み重ねフレームワークを提案する。
論文 参考訳（メタデータ） (2022-06-16T22:46:33Z) - Simplifying approach to Node Classification in Graph Neural Networks [7.057970273958933]
グラフニューラルネットワークのノード特徴集約ステップと深さを分離し、異なる集約特徴が予測性能にどのように寄与するかを経験的に分析する。
集約ステップによって生成された全ての機能が有用であるとは限らないことを示し、これらの少ない情報的特徴を用いることは、GNNモデルの性能に有害であることを示す。
提案モデルでは,提案モデルが最先端のGNNモデルと同等あるいはそれ以上の精度を達成可能であることを実証的に示す。
論文 参考訳（メタデータ） (2021-11-12T14:53:22Z) - Node Feature Extraction by Self-Supervised Multi-scale Neighborhood
Prediction [123.20238648121445]
我々は、新しい自己教師型学習フレームワーク、グラフ情報支援ノード機能exTraction (GIANT)を提案する。
GIANT は eXtreme Multi-label Classification (XMC) 形式を利用しており、これはグラフ情報に基づいた言語モデルの微調整に不可欠である。
我々は,Open Graph Benchmarkデータセット上での標準GNNパイプラインよりもGIANTの方が優れた性能を示す。
論文 参考訳（メタデータ） (2021-10-29T19:55:12Z) - Improving Graph Neural Networks with Simple Architecture Design [7.057970273958933]
グラフニューラルネットワークの重要な設計戦略をいくつか紹介する。
簡便で浅いモデルである特徴選択グラフニューラルネットワーク(FSGNN)を紹介します。
提案手法は,他のGNNモデルよりも優れており,ノード分類タスクの精度が最大64%向上していることを示す。
論文 参考訳（メタデータ） (2021-05-17T06:46:01Z) - Robust Optimization as Data Augmentation for Large-scale Graphs [117.2376815614148]
学習中に勾配に基づく逆方向摂動を伴うノード特徴を反復的に拡張するFLAG(Free Large-scale Adversarial Augmentation on Graphs)を提案する。
FLAGはグラフデータに対する汎用的なアプローチであり、ノード分類、リンク予測、グラフ分類タスクで普遍的に機能する。
論文 参考訳（メタデータ） (2020-10-19T21:51:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。