論文の概要: ProGMLP: A Progressive Framework for GNN-to-MLP Knowledge Distillation with Efficient Trade-offs

• arxiv url: http://arxiv.org/abs/2507.19031v1
• Date: Fri, 25 Jul 2025 07:35:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-28 16:16:48.863297
• Title: ProGMLP: A Progressive Framework for GNN-to-MLP Knowledge Distillation with Efficient Trade-offs
• Title（参考訳）: ProGMLP: 効率的なトレードオフを伴うGNN-to-MLP知識蒸留のためのプログレッシブフレームワーク
• Authors: Weigang Lu, Ziyu Guan, Wei Zhao, Yaming Yang, Yujie Sun, Zheng Liang, Yibing Zhan, Dapeng Tao,
• Abstract要約: 我々は,GNN-to-MLP知識の推論コストと精度のトレードオフを柔軟かつオンデマンドで実現するために,プログレッシブフレームワークを導入する。 我々のアプローチは、8つの実世界のグラフデータセットに関する包括的な実験を通じて検証される。
• 参考スコア（独自算出の注目度）: 42.37669895235534
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: GNN-to-MLP (G2M) methods have emerged as a promising approach to accelerate Graph Neural Networks (GNNs) by distilling their knowledge into simpler Multi-Layer Perceptrons (MLPs). These methods bridge the gap between the expressive power of GNNs and the computational efficiency of MLPs, making them well-suited for resource-constrained environments. However, existing G2M methods are limited by their inability to flexibly adjust inference cost and accuracy dynamically, a critical requirement for real-world applications where computational resources and time constraints can vary significantly. To address this, we introduce a Progressive framework designed to offer flexible and on-demand trade-offs between inference cost and accuracy for GNN-to-MLP knowledge distillation (ProGMLP). ProGMLP employs a Progressive Training Structure (PTS), where multiple MLP students are trained in sequence, each building on the previous one. Furthermore, ProGMLP incorporates Progressive Knowledge Distillation (PKD) to iteratively refine the distillation process from GNNs to MLPs, and Progressive Mixup Augmentation (PMA) to enhance generalization by progressively generating harder mixed samples. Our approach is validated through comprehensive experiments on eight real-world graph datasets, demonstrating that ProGMLP maintains high accuracy while dynamically adapting to varying runtime scenarios, making it highly effective for deployment in diverse application settings.
• Abstract（参考訳）: GNN-to-MLP (G2M) 法は,より単純なマルチ層パーセプトロン (MLP) に知識を蒸留することにより,グラフニューラルネットワーク (GNN) を加速する有望なアプローチとして登場した。 これらの手法は, GNN の表現力と MLP の計算効率のギャップを埋めるものであり,資源制約のある環境に適している。 しかし、既存のG2M法は、計算資源と時間制約が著しく異なる実世界のアプリケーションにとって重要な要件である、動的に推論コストと精度を柔軟に調整できないことで制限されている。 そこで我々は,GNN-to-MLP知識蒸留(ProGMLP)における推論コストと精度の間に,柔軟かつオンデマンドなトレードオフを提供するためのプログレッシブフレームワークを提案する。 ProGMLPはプログレッシブ・トレーニング・ストラクチャー (PTS) を採用しており、複数のMLP学生が順番に訓練を受けており、それぞれが前者に基づいている。 さらに、プロGMLPは、PKD(Progressive Knowledge Distillation)を取り入れて、GNNからMPPへの蒸留工程を反復的に洗練し、PMA(Progressive Mixup Augmentation)により、より硬い混合試料を段階的に生成することで一般化を促進する。 提案手法は,8つの実世界のグラフデータセットに対する総合的な実験を通じて検証され,ProGMLPは様々な実行シナリオに動的に適応しながら高い精度を維持し,多様なアプリケーション設定でのデプロイメントに極めて有効であることを示す。

関連論文リスト

• Heuristic Methods are Good Teachers to Distill MLPs for Graph Link Prediction [61.70012924088756]
  グラフニューラルネットワーク(GNN)の教師をMLP(Multi-Layer Perceptrons)の学生に拡張することは、強力なパフォーマンスを実現するための効果的なアプローチとして現れている。 しかし、既存の蒸留法では標準のGNNのみを使用し、リンク予測専用モデル(GNN4LP)や方法(一般的な隣人など)など代替の教師を見落としている。 本稿ではまず, GNN-to-MLP蒸留における異なる教師の影響について検討し, より強い教師は必ずしもより強い生徒を産み出すわけではないが, より弱い手法は, 訓練コストを大幅に削減して, 近GNNのパフォーマンスを教えることができることを示した。
  論文  参考訳（メタデータ） (2025-04-08T16:35:11Z)
• Teaching MLPs to Master Heterogeneous Graph-Structured Knowledge for Efficient and Accurate Inference [53.38082028252104]
  我々はHGNNの優れた性能とリレーショナルの効率的な推論を組み合わせたHG2MとHG2M+を紹介する。 HG2Mは直接、教師HGNNの入力とソフトラベルをターゲットとしてノード特徴を持つ生徒を訓練する。 HG2Mは、大規模IGB-3M-19データセット上でのHGNNよりも379.24$timesの速度アップを示す。
  論文  参考訳（メタデータ） (2024-11-21T11:39:09Z)
• AdaGMLP: AdaBoosting GNN-to-MLP Knowledge Distillation [15.505402580010104]
  GNN-to-MLPナレッジ蒸留と呼ばれる新しい手法の波が出現した。 彼らは、より効率的な学生にGNN学習の知識を移すことを目標としている。 これらの手法は、不十分なトレーニングデータと不完全なテストデータを持つ状況において課題に直面している。 本稿では,AdaBoosting GNN-to-MLPナレッジ蒸留フレームワークであるAdaGMLPを提案する。
  論文  参考訳（メタデータ） (2024-05-23T08:28:44Z)
• MLP Fusion: Towards Efficient Fine-tuning of Dense and Mixture-of-Experts Language Models [33.86069537521178]
  訓練済みの言語モデル(PLM)を微調整することは、多くの自然言語処理アプリケーションにおいて主要な戦略として現れる。 一般的なアプローチ(量子化や蒸留など)は、PLM微細チューニングの計算/メモリを減らすために広く研究されている。 微調整に特化して設計されたワンショット圧縮技術を提案する。
  論文  参考訳（メタデータ） (2023-07-18T03:12:51Z)
• Quantifying the Optimization and Generalization Advantages of Graph Neural Networks Over Multilayer Perceptrons [50.33260238739837]
  グラフネットワーク(GNN)は、グラフ構造化データから学習する際、顕著な能力を示した。 最適化と一般化の観点から、GNNと一般化を比較した分析の欠如がまだ残っている。
  論文  参考訳（メタデータ） (2023-06-24T10:21:11Z)
• Graph Neural Networks are Inherently Good Generalizers: Insights by Bridging GNNs and MLPs [71.93227401463199]
  本稿では、P(ropagational)MLPと呼ばれる中間モデルクラスを導入することにより、GNNの性能向上を本質的な能力に向ける。 PMLPは、トレーニングにおいてはるかに効率的でありながら、GNNと同等(あるいはそれ以上)に動作することを観察する。
  論文  参考訳（メタデータ） (2022-12-18T08:17:32Z)
• SA-MLP: Distilling Graph Knowledge from GNNs into Structure-Aware MLP [46.52398427166938]
  予測加速の1つの有望な方向は、GNNをメッセージパスなしの学生多層パーセプトロンに蒸留することである。 本稿では,構造化情報のための学習能力を高めるための構造混合知識戦略を提案する。 我々のSA-MLPは、より高速な推論支援を維持しながら、教師のGNNを一貫して上回ります。
  論文  参考訳（メタデータ） (2022-10-18T05:55:36Z)
• Efficient Language Modeling with Sparse all-MLP [53.81435968051093]
  すべてのMLPは、言語モデリングにおいてTransformerと一致するが、下流タスクではまだ遅れている。 特徴量と入力量の両方でMoE(Mix-of-Experts)を混合したスパースオールMLPを提案する。 6つの下流タスクにおいて、ゼロショットのインコンテキスト学習性能を評価し、トランスフォーマーベースのMoEや高密度トランスフォーマーを上回る結果を得た。
  論文  参考訳（メタデータ） (2022-03-14T04:32:19Z)
• Using Fitness Dependent Optimizer for Training Multi-layer Perceptron [13.280383503879158]
  本研究は、最近提案されたFDO(Fitness Dependent)に依存する新しいトレーニングアルゴリズムを提案する。 このアルゴリズムの安定性は、探索と搾取の両方の段階で検証され、性能が保証されている。 FDOをトレーナーとして使用するアプローチは、データセット上で異なるトレーナーを使用して他のアプローチよりも優れている。
  論文  参考訳（メタデータ） (2022-01-03T10:23:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。