論文の概要: Mixture of Experts Meets Decoupled Message Passing: Towards General and Adaptive Node Classification

• arxiv url: http://arxiv.org/abs/2412.08193v2
• Date: Wed, 12 Feb 2025 03:22:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-13 13:45:46.153012
• Title: Mixture of Experts Meets Decoupled Message Passing: Towards General and Adaptive Node Classification
• Title（参考訳）: メッセージパッシングを分離した専門家の混在 - 一般的なノード分類と適応的なノード分類を目指して
• Authors: Xuanze Chen, Jiajun Zhou, Shanqing Yu, Qi Xuan,
• Abstract要約: グラフニューラルネットワークはグラフ表現学習において優れているが、異種データと長距離依存に苦慮している。 ノード分類のための汎用モデルアーキテクチャであるGNNMoEを提案する。 GNNMoEは様々なグラフデータに対して優れた性能を示し、過度にスムースな問題や大域的なノイズを効果的に軽減している。
• 参考スコア（独自算出の注目度）: 4.129489934631072
• License:
• Abstract: Graph neural networks excel at graph representation learning but struggle with heterophilous data and long-range dependencies. And graph transformers address these issues through self-attention, yet face scalability and noise challenges on large-scale graphs. To overcome these limitations, we propose GNNMoE, a universal model architecture for node classification. This architecture flexibly combines fine-grained message-passing operations with a mixture-of-experts mechanism to build feature encoding blocks. Furthermore, by incorporating soft and hard gating layers to assign the most suitable expert networks to each node, we enhance the model's expressive power and adaptability to different graph types. In addition, we introduce adaptive residual connections and an enhanced FFN module into GNNMoE, further improving the expressiveness of node representation. Extensive experimental results demonstrate that GNNMoE performs exceptionally well across various types of graph data, effectively alleviating the over-smoothing issue and global noise, enhancing model robustness and adaptability, while also ensuring computational efficiency on large-scale graphs.
• Abstract（参考訳）: グラフニューラルネットワークはグラフ表現学習において優れているが、異種データと長距離依存に苦慮している。 そしてグラフトランスフォーマーは、これらの問題に自己注意を通して対処するが、大規模グラフではスケーラビリティとノイズの課題に直面している。 これらの制約を克服するために,ノード分類のための汎用モデルアーキテクチャであるGNNMoEを提案する。 このアーキテクチャは、微細なメッセージパッシング操作と、特徴符号化ブロックを構築するためのMix-of-expertsメカニズムを柔軟に結合する。 さらに、各ノードに最適な専門家ネットワークを割り当てるためにソフトかつハードなゲーティング層を組み込むことで、モデルの表現力と異なるグラフタイプへの適応性を高める。 さらに,適応的残差接続と拡張FFNモジュールをGNNMoEに導入し,ノード表現の表現性をさらに向上する。 実験結果から,GNNMoEは様々なグラフデータに対して極めて良好に動作し,オーバースムーシング問題や大域的ノイズを効果的に軽減し,モデルの堅牢性と適応性を向上するとともに,大規模グラフ上での計算効率の確保を図っている。

関連論文リスト

• Mixture of Decoupled Message Passing Experts with Entropy Constraint for General Node Classification [6.963363358936621]
  本研究では,Mixture-of-Experts (MoE) 機構に基づくユニバーサルノード分類フレームワークを提案する。 GNNMoEは、ノード分類性能と多様なグラフデータセットの普遍性の両方において、メインストリームのGNN、異種GNN、グラフトランスフォーマーを著しく上回っている。
  論文  参考訳（メタデータ） (2025-02-12T03:10:26Z)
• DeltaGNN: Graph Neural Network with Information Flow Control [5.563171090433323]
  グラフニューラルネットワーク(GNN)は、メッセージパッシングプロセスの近傍集約を通じてグラフ構造化データを処理するように設計されている。 メッセージパッシングにより、GNNは短距離空間的相互作用を理解できるだけでなく、過度なスムーシングや過度なスカッシングに悩まされる。 本稿では,線形計算オーバーヘッドを伴うオーバー・スムーシングとオーバー・スキャッシングに対処するための,emph情報フロー制御機構を提案する。 さまざまなサイズ、トポロジ、密度、ホモフィリック比のグラフを含む10の実世界のデータセットを対象に、我々のモデルをベンチマークし、優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2025-01-10T14:34:20Z)
• Revisiting Graph Neural Networks on Graph-level Tasks: Comprehensive Experiments, Analysis, and Improvements [54.006506479865344]
  グラフレベルグラフニューラルネットワーク(GNN)のための統一評価フレームワークを提案する。 このフレームワークは、さまざまなデータセットにわたるGNNを評価するための標準化された設定を提供する。 また,表現性の向上と一般化機能を備えた新しいGNNモデルを提案する。
  論文  参考訳（メタデータ） (2025-01-01T08:48:53Z)
• TANGNN: a Concise, Scalable and Effective Graph Neural Networks with Top-m Attention Mechanism for Graph Representation Learning [7.879217146851148]
  本稿では,Top-mアテンション機構アグリゲーションコンポーネントと近傍アグリゲーションコンポーネントを統合した,革新的なグラフニューラルネットワーク(GNN)アーキテクチャを提案する。 提案手法の有効性を評価するため,提案手法をGNN分野において未探索の新たな課題である引用感情予測に適用した。
  論文  参考訳（メタデータ） (2024-11-23T05:31:25Z)
• Graph as a feature: improving node classification with non-neural graph-aware logistic regression [2.952177779219163]
  Graph-aware Logistic Regression (GLR) はノード分類タスク用に設計された非神経モデルである。 GNNにアクセスできる情報のごく一部しか使わない従来のグラフアルゴリズムとは異なり、提案モデルではノードの特徴とエンティティ間の関係を同時に活用する。
  論文  参考訳（メタデータ） (2024-11-19T08:32:14Z)
• DA-MoE: Addressing Depth-Sensitivity in Graph-Level Analysis through Mixture of Experts [70.21017141742763]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データを処理することで人気を集めている。 既存のメソッドは通常、固定数のGNNレイヤを使用して、すべてのグラフの表現を生成する。 本稿では,GNNに2つの改良を加えたDA-MoE法を提案する。
  論文  参考訳（メタデータ） (2024-11-05T11:46:27Z)
• NodeFormer: A Scalable Graph Structure Learning Transformer for Node Classification [70.51126383984555]
  本稿では,任意のノード間のノード信号を効率的に伝搬する全ペアメッセージパッシング方式を提案する。 効率的な計算は、カーナライズされたGumbel-Softmax演算子によって実現される。 グラフ上のノード分類を含む様々なタスクにおいて,本手法の有望な有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-06-14T09:21:15Z)
• Graph Mixture of Experts: Learning on Large-Scale Graphs with Explicit Diversity Modeling [60.0185734837814]
  グラフニューラルネットワーク(GNN)は、グラフデータからの学習に広く応用されている。 GNNの一般化能力を強化するため、グラフ強化のような技術を用いて、トレーニンググラフ構造を増強することが慣例となっている。 本研究では,GNNにMixture-of-Experts(MoE)の概念を導入する。
  論文  参考訳（メタデータ） (2023-04-06T01:09:36Z)
• ACE-HGNN: Adaptive Curvature Exploration Hyperbolic Graph Neural Network [72.16255675586089]
  本稿では、入力グラフと下流タスクに基づいて最適な曲率を適応的に学習する適応曲率探索ハイパーボリックグラフニューラルネットワークACE-HGNNを提案する。 複数の実世界のグラフデータセットの実験は、競争性能と優れた一般化能力を備えたモデル品質において、顕著で一貫したパフォーマンス改善を示す。
  論文  参考訳（メタデータ） (2021-10-15T07:18:57Z)
• Breaking the Limit of Graph Neural Networks by Improving the Assortativity of Graphs with Local Mixing Patterns [19.346133577539394]
  グラフニューラルネットワーク(GNN)は、複数のグラフベースの学習タスクで大きな成功を収めています。 入力グラフを近接情報と構造情報の両方を含む計算グラフに変換することに集中する。 構造と近接度を適応的に選択することで,様々な混合条件下での性能が向上することを示す。
  論文  参考訳（メタデータ） (2021-06-11T19:18:34Z)
• Robust Optimization as Data Augmentation for Large-scale Graphs [117.2376815614148]
  学習中に勾配に基づく逆方向摂動を伴うノード特徴を反復的に拡張するFLAG(Free Large-scale Adversarial Augmentation on Graphs)を提案する。 FLAGはグラフデータに対する汎用的なアプローチであり、ノード分類、リンク予測、グラフ分類タスクで普遍的に機能する。
  論文  参考訳（メタデータ） (2020-10-19T21:51:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。