論文の概要: Mixture of Decoupled Message Passing Experts with Entropy Constraint for General Node Classification

• arxiv url: http://arxiv.org/abs/2502.08083v1
• Date: Wed, 12 Feb 2025 03:10:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-13 13:44:50.412053
• Title: Mixture of Decoupled Message Passing Experts with Entropy Constraint for General Node Classification
• Title（参考訳）: 一般ノード分類のためのエントロピー制約を持つ疎結合メッセージパッシングエキスパートの混合
• Authors: Xuanze Chen, Jiajun Zhou, Jinsong Chen, Shanqing Yu, Qi Xuan,
• Abstract要約: 本研究では,Mixture-of-Experts (MoE) 機構に基づくユニバーサルノード分類フレームワークを提案する。 GNNMoEは、ノード分類性能と多様なグラフデータセットの普遍性の両方において、メインストリームのGNN、異種GNN、グラフトランスフォーマーを著しく上回っている。
• 参考スコア（独自算出の注目度）: 6.963363358936621
• License:
• Abstract: The varying degrees of homophily and heterophily in real-world graphs persistently constrain the universality of graph neural networks (GNNs) for node classification. Adopting a data-centric perspective, this work reveals an inherent preference of different graphs towards distinct message encoding schemes: homophilous graphs favor local propagation, while heterophilous graphs exhibit preference for flexible combinations of propagation and transformation. To address this, we propose GNNMoE, a universal node classification framework based on the Mixture-of-Experts (MoE) mechanism. The framework first constructs diverse message-passing experts through recombination of fine-grained encoding operators, then designs soft and hard gating layers to allocate the most suitable expert networks for each node's representation learning, thereby enhancing both model expressiveness and adaptability to diverse graphs. Furthermore, considering that soft gating might introduce encoding noise in homophilous scenarios, we introduce an entropy constraint to guide sharpening of soft gates, achieving organic integration of weighted combination and Top-K selection. Extensive experiments demonstrate that GNNMoE significantly outperforms mainstream GNNs, heterophilous GNNs, and graph transformers in both node classification performance and universality across diverse graph datasets.
• Abstract（参考訳）: 実世界のグラフにおける様々なホモフィリーとヘテロフィリーの度合いは、ノード分類のためのグラフニューラルネットワーク(GNN)の普遍性を永続的に制約する。 ホモフィルグラフは局所的な伝播を好んでおり、一方ヘテロフィルグラフは伝播と変換の柔軟な組み合わせを好んでいる。 そこで本稿では,Mixture-of-Experts (MoE) 機構に基づく共通ノード分類フレームワークであるGNNMoEを提案する。 このフレームワークは、まず細かな符号化演算子の組換えにより、多様なメッセージパッシングの専門家を構成し、その後、各ノードの表現学習に最適な専門家ネットワークを割り当てるために、ソフトで硬いゲーティング層を設計し、モデル表現性と多様なグラフへの適応性を両立させる。 さらに, ソフトゲーティングは, ホモフィル性シナリオにおいて符号化ノイズをもたらす可能性があることを考慮し, ソフトゲートのシャープ化を誘導するエントロピー制約を導入し, 加重結合とトップ-K選択の有機的統合を実現する。 大規模な実験により、GNNMoEは、多種多様なグラフデータセットにおけるノード分類性能と普遍性の両方において、主流のGNN、異種GNN、グラフトランスフォーマーを大きく上回っていることが示された。

関連論文リスト

• Universal Inceptive GNNs by Eliminating the Smoothness-generalization Dilemma [14.493433090244078]
  Inceptive Graph Neural Net-work (IGNN) を提案する。 我々のIGNNは23のベースライン法より優れており、ホモフィルグラフとヘット電子グラフの両方で優れた性能を誇示している。
  論文  参考訳（メタデータ） (2024-12-13T02:44:47Z)
• Mixture of Experts Meets Decoupled Message Passing: Towards General and Adaptive Node Classification [4.129489934631072]
  グラフニューラルネットワークはグラフ表現学習において優れているが、異種データと長距離依存に苦慮している。 ノード分類のための汎用モデルアーキテクチャであるGNNMoEを提案する。 GNNMoEは様々なグラフデータに対して優れた性能を示し、過度にスムースな問題や大域的なノイズを効果的に軽減している。
  論文  参考訳（メタデータ） (2024-12-11T08:35:13Z)
• GPatcher: A Simple and Adaptive MLP Model for Alleviating Graph Heterophily [15.93465948768545]
  グラフニューラルネットワーク(GNN)フィルタにおけるグラフヘテロフィリーの影響を解明する。 我々は,パッチ・ミクサーアーキテクチャを利用したGPatcherというシンプルで強力なGNNを提案する。 本モデルでは, ノード分類において, 人気ホモフィリーGNNや最先端ヘテロフィリーGNNと比較して, 優れた性能を示す。
  論文  参考訳（メタデータ） (2023-06-25T20:57:35Z)
• DEGREE: Decomposition Based Explanation For Graph Neural Networks [55.38873296761104]
  我々は,GNN予測に対する忠実な説明を提供するためにDGREEを提案する。 GNNの情報生成と集約機構を分解することにより、DECREEは入力グラフの特定のコンポーネントのコントリビューションを最終的な予測に追跡することができる。 また,従来の手法で見過ごされるグラフノード間の複雑な相互作用を明らかにするために,サブグラフレベルの解釈アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2023-05-22T10:29:52Z)
• Relation Embedding based Graph Neural Networks for Handling Heterogeneous Graph [58.99478502486377]
  我々は、同種GNNが不均一グラフを扱うのに十分な能力を持つように、シンプルで効率的なフレームワークを提案する。 具体的には、エッジ型関係と自己ループ接続の重要性を埋め込むために、関係1つのパラメータのみを使用する関係埋め込みベースのグラフニューラルネットワーク(RE-GNN)を提案する。
  論文  参考訳（メタデータ） (2022-09-23T05:24:18Z)
• A Variational Edge Partition Model for Supervised Graph Representation Learning [51.30365677476971]
  本稿では,重なり合うノード群間の相互作用を集約することで,観測されたエッジがどのように生成されるかをモデル化するグラフ生成プロセスを提案する。 それぞれのエッジを複数のコミュニティ固有の重み付きエッジの和に分割し、コミュニティ固有のGNNを定義する。 エッジを異なるコミュニティに分割するGNNベースの推論ネットワーク,これらのコミュニティ固有のGNN,およびコミュニティ固有のGNNを最終分類タスクに組み合わせたGNNベースの予測器を共同で学習するために,変分推論フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-02-07T14:37:50Z)
• Explicit Pairwise Factorized Graph Neural Network for Semi-Supervised Node Classification [59.06717774425588]
  本稿では,グラフ全体を部分的に観測されたマルコフ確率場としてモデル化するEPFGNN(Explicit Pairwise Factorized Graph Neural Network)を提案する。 出力-出力関係をモデル化するための明示的なペアワイズ要素を含み、入力-出力関係をモデル化するためにGNNバックボーンを使用する。 本研究では,グラフ上での半教師付きノード分類の性能を効果的に向上できることを示す。
  論文  参考訳（メタデータ） (2021-07-27T19:47:53Z)
• Breaking the Limit of Graph Neural Networks by Improving the Assortativity of Graphs with Local Mixing Patterns [19.346133577539394]
  グラフニューラルネットワーク(GNN)は、複数のグラフベースの学習タスクで大きな成功を収めています。 入力グラフを近接情報と構造情報の両方を含む計算グラフに変換することに集中する。 構造と近接度を適応的に選択することで,様々な混合条件下での性能が向上することを示す。
  論文  参考訳（メタデータ） (2021-06-11T19:18:34Z)
• A Unified View on Graph Neural Networks as Graph Signal Denoising [49.980783124401555]
  グラフニューラルネットワーク(GNN)は,グラフ構造化データの学習表現において顕著に普及している。 本研究では,代表的GNNモデル群における集約過程を,グラフ記述問題の解法とみなすことができることを数学的に確立する。 UGNNから派生した新しいGNNモデルADA-UGNNをインスタンス化し、ノード間の適応的滑らかさでグラフを処理する。
  論文  参考訳（メタデータ） (2020-10-05T04:57:18Z)
• Graph Neural Networks with Heterophily [40.23690407583509]
  我々は、ホモフィリーなグラフとヘテロフィリーなグラフのGNNを一般化するCPGNNと呼ばれる新しいフレームワークを提案する。 フレームワークの互換性行列を(純粋なホモフィリーを表す)同一性に置き換えると、GCNに還元されることを示す。
  論文  参考訳（メタデータ） (2020-09-28T18:29:36Z)
• Heterogeneous Graph Transformer [49.675064816860505]
  Webスケールの不均一グラフモデリングのための不均一グラフ変換器(HGT)アーキテクチャ 動的ヘテロジニアスグラフを扱うために、HGTに相対時間符号化手法を導入する。 Web スケールのグラフデータを扱うため,ヘテロジニアスなミニバッチグラフサンプリングアルゴリズム--HGSampling--を設計し,効率的かつスケーラブルなトレーニングを行う。
  論文  参考訳（メタデータ） (2020-03-03T04:49:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。