論文の概要: Learning How Much to Think: Difficulty-Aware Dynamic MoEs for Graph Node Classification
- arxiv url: http://arxiv.org/abs/2604.11473v1
- Date: Mon, 13 Apr 2026 13:44:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-14 20:13:16.57173
- Title: Learning How Much to Think: Difficulty-Aware Dynamic MoEs for Graph Node Classification
- Title(参考訳): どれ程考えるべきかを学ぶ:グラフノード分類のための難易度の高い動的MoE
- Authors: Jiajun Zhou, Yadong Li, Xuanze Chen, Chen Ma, Chuang Zhao, Shanqing Yu, Qi Xuan,
- Abstract要約: D2MoEは、静的なエキスパート選択からノード単位のエキスパートリソースアロケーションに焦点を移す、新しいフレームワークである。
これは一貫した最先端のパフォーマンスを実現し、ヘテロ親和性グラフの精度を最大7.92%向上させる。
- 参考スコア(独自算出の注目度): 22.42031337089037
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Mixture-of-Experts (MoE) architectures offer a scalable path for Graph Neural Networks (GNNs) in node classification tasks but typically rely on static and rigid routing strategies that enforce a uniform expert budget or coarse-grained expert toggles on all nodes. This limitation overlooks the varying discriminative difficulty of nodes and leads to under-fitting for hard nodes and redundant computation for easy ones. To resolve this issue, we propose D2MoE, a novel framework that shifts the focus from static expert selection to node-wise expert resource allocation. By using predictive entropy as a real-time proxy for difficulty, D2MoE employs a difficulty-driven top-p routing mechanism to adaptively concentrate expert resources on hard nodes while reducing overhead for easy ones, achieving continuous and fine-grained expert budget scaling for node classification. Experiments on 13 benchmarks demonstrate that D2MoE achieves consistent state-of-the-art performance, surpassing leading baselines by up to 7.92% in accuracy on heterophilous graphs. Notably, on large-scale graphs, it reduces memory consumption by up to 73.07% and training time by 46.53% compared to the best-performing Graph MoE, thereby validating its superior efficiency.
- Abstract(参考訳): Mixture-of-Experts (MoE)アーキテクチャは、ノード分類タスクにおけるグラフニューラルネットワーク(GNN)のスケーラブルなパスを提供するが、通常は、均一な専門家予算や、すべてのノードの粗い専門家トグルを強制する、静的かつ厳格なルーティング戦略に依存している。
この制限は、ノードの識別の難しさを克服し、ハードノードの過小評価と簡単なノードの冗長計算につながる。
この問題を解決するために,静的な専門家選択からノード単位のエキスパートリソース割り当てへ焦点を移す新しいフレームワークD2MoEを提案する。
予測エントロピーをリアルタイムのプロキシとして使用することにより、D2MoEは難易度の高いトップpルーティング機構を使用して、ハードノード上のエキスパートリソースを適応的に集中させ、容易なノードのオーバーヘッドを低減し、ノード分類のための連続的できめ細かな専門家予算スケーリングを実現する。
13のベンチマークの実験では、D2MoEは最先端のベースラインを最大7.92%の精度で越え、一貫した最先端のパフォーマンスを達成している。
特に大規模なグラフでは、最高のパフォーマンスのグラフMoEと比較してメモリ消費を最大73.07%削減し、トレーニング時間は46.53%削減する。
関連論文リスト
- Decoupled Graph Energy-based Model for Node Out-of-Distribution Detection on Heterophilic Graphs [61.226857589092]
グラフ学習におけるノードのOOD検出は未探索のままである。
GNNSafeは、最先端の性能を持つグラフ領域にエネルギーベースの検出を適用した。
本稿では,学習過程をノード表現のためのトポロジ情報を利用するグラフエンコーダと,遅延空間で動作するエネルギーヘッドの2つの部分に分解するDeGEMを紹介する。
論文 参考訳(メタデータ) (2025-02-25T07:20:00Z) - Graph as a feature: improving node classification with non-neural graph-aware logistic regression [2.952177779219163]
Graph-aware Logistic Regression (GLR) はノード分類タスク用に設計された非神経モデルである。
GNNにアクセスできる情報のごく一部しか使わない従来のグラフアルゴリズムとは異なり、提案モデルではノードの特徴とエンティティ間の関係を同時に活用する。
論文 参考訳(メタデータ) (2024-11-19T08:32:14Z) - Spectral Greedy Coresets for Graph Neural Networks [61.24300262316091]
ノード分類タスクにおける大規模グラフの利用は、グラフニューラルネットワーク(GNN)の現実的な応用を妨げる
本稿では,GNNのグラフコアセットについて検討し,スペクトル埋め込みに基づくエゴグラフの選択により相互依存の問題を回避する。
我々のスペクトルグレディグラフコアセット(SGGC)は、数百万のノードを持つグラフにスケールし、モデル事前学習の必要性を排除し、低ホモフィリーグラフに適用する。
論文 参考訳(メタデータ) (2024-05-27T17:52:12Z) - Graph Sparsification via Mixture of Graphs [67.40204130771967]
そこで我々はMixture-of-Graphs (MoG)を導入し、各ノードに対して動的に調整されたプルーニングソリューションを選択する。
MoGには複数のスパシファイアの専門家が組み込まれており、それぞれが独自のスパーシリティレベルとプルーニング基準によって特徴付けられ、各ノードに対して適切な専門家を選択する。
5つのGNNを備えた4つの大規模OGBデータセットと2つのスーパーピクセルデータセットの実験により、MoGはより高い空間レベルのサブグラフを識別することを示した。
論文 参考訳(メタデータ) (2024-05-23T07:40:21Z) - Less Can Be More: Unsupervised Graph Pruning for Large-scale Dynamic
Graphs [42.864057751606616]
動的グラフ上での教師なしグラフプルーニングの問題を提案し,検討する。
提案するSTEPフレームワークは,入力動的グラフから潜在的に冗長なエッジを取り除くことを学習する。
実世界の3つのデータセットに対する我々の結果は、GNNの有効性、堅牢性、効率性を改善する利点を実証している。
論文 参考訳(メタデータ) (2023-05-18T03:23:53Z) - $\rm A^2Q$: Aggregation-Aware Quantization for Graph Neural Networks [18.772128348519566]
グラフニューラルネットワーク(GNN)のための集約型混合精度量子化(rm A2Q$)を提案する。
本手法は,ノードレベルのタスクとグラフレベルのタスクで最大11.4%,9.5%の精度向上を実現し,専用ハードウェアアクセラレータで最大2倍の高速化を実現する。
論文 参考訳(メタデータ) (2023-02-01T02:54:35Z) - Node Feature Extraction by Self-Supervised Multi-scale Neighborhood
Prediction [123.20238648121445]
我々は、新しい自己教師型学習フレームワーク、グラフ情報支援ノード機能exTraction (GIANT)を提案する。
GIANT は eXtreme Multi-label Classification (XMC) 形式を利用しており、これはグラフ情報に基づいた言語モデルの微調整に不可欠である。
我々は,Open Graph Benchmarkデータセット上での標準GNNパイプラインよりもGIANTの方が優れた性能を示す。
論文 参考訳(メタデータ) (2021-10-29T19:55:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。