論文の概要: Learning Accurate, Efficient, and Interpretable MLPs on Multiplex Graphs via Node-wise Multi-View Ensemble Distillation
- arxiv url: http://arxiv.org/abs/2502.05864v1
- Date: Sun, 09 Feb 2025 11:55:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-11 14:30:42.451395
- Title: Learning Accurate, Efficient, and Interpretable MLPs on Multiplex Graphs via Node-wise Multi-View Ensemble Distillation
- Title（参考訳）: Node-wise Multi-View Ensemble Distillation による多重グラフ上での精度, 効率, 解釈可能な MLP の学習
- Authors: Yunhui Liu, Zhen Tao, Xiang Zhao, Jianhua Zhao, Tao Zheng, Tieke He,
- Abstract要約: 多重グラフニューラルネットワーク(MGNN)は、様々な下流タスクにおいて高度なパフォーマンスを実現している。
我々は、MGNNの優れた性能とニューラルネットワークの効率的な推論を組み合わせるために、多重グラフ自由グラフニューラルネットワーク(MGFNN)とMGFNN+を提案する。
- 参考スコア（独自算出の注目度）: 29.70212915594676
- License:
- Abstract: Multiplex graphs, with multiple edge types (graph views) among common nodes, provide richer structural semantics and better modeling capabilities. Multiplex Graph Neural Networks (MGNNs), typically comprising view-specific GNNs and a multi-view integration layer, have achieved advanced performance in various downstream tasks. However, their reliance on neighborhood aggregation poses challenges for deployment in latency-sensitive applications. Motivated by recent GNN-to-MLP knowledge distillation frameworks, we propose Multiplex Graph-Free Neural Networks (MGFNN and MGFNN+) to combine MGNNs' superior performance and MLPs' efficient inference via knowledge distillation. MGFNN directly trains student MLPs with node features as input and soft labels from teacher MGNNs as targets. MGFNN+ further employs a low-rank approximation-based reparameterization to learn node-wise coefficients, enabling adaptive knowledge ensemble from each view-specific GNN. This node-wise multi-view ensemble distillation strategy allows student MLPs to learn more informative multiplex semantic knowledge for different nodes. Experiments show that MGFNNs achieve average accuracy improvements of about 10% over vanilla MLPs and perform comparably or even better to teacher MGNNs (accurate); MGFNNs achieve a 35.40$\times$-89.14$\times$ speedup in inference over MGNNs (efficient); MGFNN+ adaptively assigns different coefficients for multi-view ensemble distillation regarding different nodes (interpretable).
- Abstract（参考訳）: 共通のノード間で複数のエッジタイプ(グラフビュー)を持つ多重グラフは、よりリッチな構造的セマンティクスとより良いモデリング機能を提供します。
ビュー固有のGNNとマルチビュー統合層で構成される多重グラフニューラルネットワーク(MGNN)は、様々な下流タスクにおいて高度なパフォーマンスを実現している。
しかし、その周辺集約への依存は、レイテンシに敏感なアプリケーションへのデプロイに困難をもたらす。
近年のGNN-to-MLP知識蒸留フレームワークを基盤として,MGNNの優れた性能と知識蒸留によるMPPの効率的な推論を組み合わせた多重グラフ自由ニューラルネットワーク(MGFNN, MGFNN+)を提案する。
MGFNNは直接、教師MGNNから入力やソフトラベルとしてノード特徴を持つ学生MLPをターゲットとして訓練する。
MGFNN+はさらに低ランク近似に基づくパラメータ化を用いてノード係数を学習し、各ビュー固有のGNNから適応的な知識アンサンブルを可能にする。
このノードワイド・マルチビュー・アンサンブル蒸留戦略により、学生のMLPは異なるノードに対するより情報に富む多重なセマンティック知識を学習することができる。
実験の結果、MGFNNはバニラMLPよりも平均10%の精度向上を達成し、教師MGNN(正確性)と同等かそれ以上に向上し、MGFNNはMGNNよりも35.40$\times$-89.14$\times$ Inference in speedup(効率的)、MGFNN+は異なるノード(解釈可能)に関するマルチビューアンサンブル蒸留のために異なる係数を適応的に割り当てている。
関連論文リスト
- Teaching MLPs to Master Heterogeneous Graph-Structured Knowledge for Efficient and Accurate Inference [53.38082028252104]
我々はHGNNの優れた性能とリレーショナルの効率的な推論を組み合わせたHG2MとHG2M+を紹介する。
HG2Mは直接、教師HGNNの入力とソフトラベルをターゲットとしてノード特徴を持つ生徒を訓練する。
HG2Mは、大規模IGB-3M-19データセット上でのHGNNよりも379.24$timesの速度アップを示す。
論文 参考訳（メタデータ） (2024-11-21T11:39:09Z) - LOGIN: A Large Language Model Consulted Graph Neural Network Training Framework [30.54068909225463]
我々は,GNN設計プロセスの合理化とLarge Language Models(LLM)の利点を活用して,下流タスクにおけるGNNの性能向上を目指す。
我々は,LLMs-as-Consultants(LLMs-as-Consultants)という新たなパラダイムを策定し,LLMとGNNを対話的に統合する。
両グラフのノード分類におけるLOGINの有効性を実証的に評価した。
論文 参考訳（メタデータ） (2024-05-22T18:17:20Z) - E2GNN: Efficient Graph Neural Network Ensembles for Semi-Supervised Classification [30.55931541782854]
本研究では、グラフニューラルネットワーク(GNN)のアンサンブル学習を、人気のある半教師付き環境下で研究する。
ラベル付きノードとラベルなしノードの両方を活用することで,複数のGNNを学習可能な方法で組み立てる,効率的なアンサンブル学習者を提案する。
さまざまなGNNバックボーンと8つのベンチマークデータセットにまたがる、トランスダクティブとインダクティブ両方の設定に関する包括的な実験は、E2GNNの優位性を実証している。
論文 参考訳（メタデータ） (2024-05-06T12:11:46Z) - Label Deconvolution for Node Representation Learning on Large-scale
Attributed Graphs against Learning Bias [75.44877675117749]
本稿では,GNNの逆写像に対する新しい,スケーラブルな近似による学習バイアスを軽減するために,ラベルの効率的な正規化手法,すなわちラベルのデコンボリューション(LD)を提案する。
実験では、LDはOpen Graphデータセットのベンチマークで最先端のメソッドを大幅に上回っている。
論文 参考訳（メタデータ） (2023-09-26T13:09:43Z) - VQGraph: Rethinking Graph Representation Space for Bridging GNNs and
MLPs [97.63412451659826]
VQGraphは、各ノードのローカルサブストラクチャを離散コードとしてエンコードできるグラフデータ上の構造認識トークン化器を学習する。
VQGraphは、GNN-to-MLP蒸留におけるトランスダクティブおよびインダクティブの両方で、新しい最先端性能を実現する。
論文 参考訳（メタデータ） (2023-08-04T02:58:08Z) - Graph Neural Networks are Inherently Good Generalizers: Insights by
Bridging GNNs and MLPs [71.93227401463199]
本稿では、P(ropagational)MLPと呼ばれる中間モデルクラスを導入することにより、GNNの性能向上を本質的な能力に向ける。
PMLPは、トレーニングにおいてはるかに効率的でありながら、GNNと同等(あるいはそれ以上)に動作することを観察する。
論文 参考訳（メタデータ） (2022-12-18T08:17:32Z) - AdaGNN: A multi-modal latent representation meta-learner for GNNs based
on AdaBoosting [0.38073142980733]
グラフニューラルネットワーク(GNN)は、固有のネットワーク機能の抽出に重点を置いている。
GNNのための強化型メタラーナを提案する。
AdaGNNは、リッチで多様なノード近傍情報を持つアプリケーションに対して非常によく機能する。
論文 参考訳（メタデータ） (2021-08-14T03:07:26Z) - Breaking the Limit of Graph Neural Networks by Improving the
Assortativity of Graphs with Local Mixing Patterns [19.346133577539394]
グラフニューラルネットワーク(GNN)は、複数のグラフベースの学習タスクで大きな成功を収めています。
入力グラフを近接情報と構造情報の両方を含む計算グラフに変換することに集中する。
構造と近接度を適応的に選択することで,様々な混合条件下での性能が向上することを示す。
論文 参考訳（メタデータ） (2021-06-11T19:18:34Z) - On Graph Neural Networks versus Graph-Augmented MLPs [51.23890789522705]
Graph-Augmented Multi-Layer Perceptrons (GA-MLPs)は、まずグラフ上の特定のマルチホップ演算子でノード機能を拡張する。
我々は,GA-MLPとGNNの表現力の分離を証明し,指数関数的に成長することを示す。
論文 参考訳（メタデータ） (2020-10-28T17:59:59Z) - A Unified View on Graph Neural Networks as Graph Signal Denoising [49.980783124401555]
グラフニューラルネットワーク(GNN)は,グラフ構造化データの学習表現において顕著に普及している。
本研究では,代表的GNNモデル群における集約過程を,グラフ記述問題の解法とみなすことができることを数学的に確立する。
UGNNから派生した新しいGNNモデルADA-UGNNをインスタンス化し、ノード間の適応的滑らかさでグラフを処理する。
論文 参考訳（メタデータ） (2020-10-05T04:57:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。