論文の概要: Mixture of Experts Meets Decoupled Message Passing: Towards General and Adaptive Node Classification
- arxiv url: http://arxiv.org/abs/2412.08193v1
- Date: Wed, 11 Dec 2024 08:35:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-12 14:01:43.347279
- Title: Mixture of Experts Meets Decoupled Message Passing: Towards General and Adaptive Node Classification
- Title(参考訳): メッセージパッシングを分離した専門家の混在 - 一般的なノード分類と適応的なノード分類を目指して
- Authors: Xuanze Chen, Jiajun Zhou, Shanqing Yu, Qi Xuan,
- Abstract要約: グラフニューラルネットワークはグラフ表現学習において優れているが、異種データと長距離依存に苦慮している。
ノード分類のための汎用モデルアーキテクチャであるGNNMoEを提案する。
GNNMoEは様々なグラフデータに対して優れた性能を示し、過度にスムースな問題や大域的なノイズを効果的に軽減している。
- 参考スコア(独自算出の注目度): 4.129489934631072
- License:
- Abstract: Graph neural networks excel at graph representation learning but struggle with heterophilous data and long-range dependencies. And graph transformers address these issues through self-attention, yet face scalability and noise challenges on large-scale graphs. To overcome these limitations, we propose GNNMoE, a universal model architecture for node classification. This architecture flexibly combines fine-grained message-passing operations with a mixture-of-experts mechanism to build feature encoding blocks. Furthermore, by incorporating soft and hard gating layers to assign the most suitable expert networks to each node, we enhance the model's expressive power and adaptability to different graph types. In addition, we introduce adaptive residual connections and an enhanced FFN module into GNNMoE, further improving the expressiveness of node representation. Extensive experimental results demonstrate that GNNMoE performs exceptionally well across various types of graph data, effectively alleviating the over-smoothing issue and global noise, enhancing model robustness and adaptability, while also ensuring computational efficiency on large-scale graphs.
- Abstract(参考訳): グラフニューラルネットワークはグラフ表現学習において優れているが、異種データと長距離依存に苦慮している。
そしてグラフトランスフォーマーは、これらの問題に自己注意を通して対処するが、大規模グラフではスケーラビリティとノイズの課題に直面している。
これらの制約を克服するために,ノード分類のための汎用モデルアーキテクチャであるGNNMoEを提案する。
このアーキテクチャは、微細なメッセージパッシング操作と、特徴符号化ブロックを構築するためのMix-of-expertsメカニズムを柔軟に結合する。
さらに、各ノードに最適な専門家ネットワークを割り当てるためにソフトかつハードなゲーティング層を組み込むことで、モデルの表現力と異なるグラフタイプへの適応性を高める。
さらに,適応的残差接続と拡張FFNモジュールをGNNMoEに導入し,ノード表現の表現性をさらに向上する。
実験結果から,GNNMoEは様々なグラフデータに対して極めて良好に動作し,オーバースムーシング問題や大域的ノイズを効果的に軽減し,モデルの堅牢性と適応性を向上するとともに,大規模グラフ上での計算効率の確保を図っている。
関連論文リスト
- TANGNN: a Concise, Scalable and Effective Graph Neural Networks with Top-m Attention Mechanism for Graph Representation Learning [7.879217146851148]
本稿では,Top-mアテンション機構アグリゲーションコンポーネントと近傍アグリゲーションコンポーネントを統合した,革新的なグラフニューラルネットワーク(GNN)アーキテクチャを提案する。
提案手法の有効性を評価するため,提案手法をGNN分野において未探索の新たな課題である引用感情予測に適用した。
論文 参考訳(メタデータ) (2024-11-23T05:31:25Z) - Graph as a feature: improving node classification with non-neural graph-aware logistic regression [2.952177779219163]
Graph-aware Logistic Regression (GLR) はノード分類タスク用に設計された非神経モデルである。
GNNにアクセスできる情報のごく一部しか使わない従来のグラフアルゴリズムとは異なり、提案モデルではノードの特徴とエンティティ間の関係を同時に活用する。
論文 参考訳(メタデータ) (2024-11-19T08:32:14Z) - DA-MoE: Addressing Depth-Sensitivity in Graph-Level Analysis through Mixture of Experts [70.21017141742763]
グラフニューラルネットワーク(GNN)は、グラフ構造化データを処理することで人気を集めている。
既存のメソッドは通常、固定数のGNNレイヤを使用して、すべてのグラフの表現を生成する。
本稿では,GNNに2つの改良を加えたDA-MoE法を提案する。
論文 参考訳(メタデータ) (2024-11-05T11:46:27Z) - Design Your Own Universe: A Physics-Informed Agnostic Method for Enhancing Graph Neural Networks [34.16727363891593]
グラフニューラルネットワーク(GNN)のためのモデルに依存しない拡張フレームワークを提案する。
このフレームワークは、追加ノードを導入し、負の重み付けと負の重み付けの両方で接続を切り替えることでグラフ構造を豊かにする。
提案手法によって強化されたGNNが,過度にスムースな問題を効果的に回避し,過度なスキャッシングに対する堅牢性を示すことを理論的に検証する。
好中球グラフ,ヘテロ親和性グラフ,長期グラフデータセットのベンチマークにおける実証的検証により,本手法により強化されたGNNが元のグラフよりも有意に優れていることが示された。
論文 参考訳(メタデータ) (2024-01-26T00:47:43Z) - NodeFormer: A Scalable Graph Structure Learning Transformer for Node
Classification [70.51126383984555]
本稿では,任意のノード間のノード信号を効率的に伝搬する全ペアメッセージパッシング方式を提案する。
効率的な計算は、カーナライズされたGumbel-Softmax演算子によって実現される。
グラフ上のノード分類を含む様々なタスクにおいて,本手法の有望な有効性を示す実験を行った。
論文 参考訳(メタデータ) (2023-06-14T09:21:15Z) - Graph Mixture of Experts: Learning on Large-Scale Graphs with Explicit
Diversity Modeling [60.0185734837814]
グラフニューラルネットワーク(GNN)は、グラフデータからの学習に広く応用されている。
GNNの一般化能力を強化するため、グラフ強化のような技術を用いて、トレーニンググラフ構造を増強することが慣例となっている。
本研究では,GNNにMixture-of-Experts(MoE)の概念を導入する。
論文 参考訳(メタデータ) (2023-04-06T01:09:36Z) - ACE-HGNN: Adaptive Curvature Exploration Hyperbolic Graph Neural Network [72.16255675586089]
本稿では、入力グラフと下流タスクに基づいて最適な曲率を適応的に学習する適応曲率探索ハイパーボリックグラフニューラルネットワークACE-HGNNを提案する。
複数の実世界のグラフデータセットの実験は、競争性能と優れた一般化能力を備えたモデル品質において、顕著で一貫したパフォーマンス改善を示す。
論文 参考訳(メタデータ) (2021-10-15T07:18:57Z) - Explicit Pairwise Factorized Graph Neural Network for Semi-Supervised
Node Classification [59.06717774425588]
本稿では,グラフ全体を部分的に観測されたマルコフ確率場としてモデル化するEPFGNN(Explicit Pairwise Factorized Graph Neural Network)を提案する。
出力-出力関係をモデル化するための明示的なペアワイズ要素を含み、入力-出力関係をモデル化するためにGNNバックボーンを使用する。
本研究では,グラフ上での半教師付きノード分類の性能を効果的に向上できることを示す。
論文 参考訳(メタデータ) (2021-07-27T19:47:53Z) - Breaking the Limit of Graph Neural Networks by Improving the
Assortativity of Graphs with Local Mixing Patterns [19.346133577539394]
グラフニューラルネットワーク(GNN)は、複数のグラフベースの学習タスクで大きな成功を収めています。
入力グラフを近接情報と構造情報の両方を含む計算グラフに変換することに集中する。
構造と近接度を適応的に選択することで,様々な混合条件下での性能が向上することを示す。
論文 参考訳(メタデータ) (2021-06-11T19:18:34Z) - Robust Optimization as Data Augmentation for Large-scale Graphs [117.2376815614148]
学習中に勾配に基づく逆方向摂動を伴うノード特徴を反復的に拡張するFLAG(Free Large-scale Adversarial Augmentation on Graphs)を提案する。
FLAGはグラフデータに対する汎用的なアプローチであり、ノード分類、リンク予測、グラフ分類タスクで普遍的に機能する。
論文 参考訳(メタデータ) (2020-10-19T21:51:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。