Fugu-MT 論文翻訳(概要): AdaGMLP: AdaBoosting GNN-to-MLP Knowledge Distillation

論文の概要: AdaGMLP: AdaBoosting GNN-to-MLP Knowledge Distillation

arxiv url: http://arxiv.org/abs/2405.14307v1
Date: Thu, 23 May 2024 08:28:44 GMT
ステータス: 処理完了
システム内更新日: 2024-05-24 18:04:42.725045
Title: AdaGMLP: AdaBoosting GNN-to-MLP Knowledge Distillation
Title（参考訳）: AdaGMLP: AdaBoosting GNN-to-MLP Knowledge Distillation
Authors: Weigang Lu, Ziyu Guan, Wei Zhao, Yaming Yang,
Abstract要約: GNN-to-MLPナレッジ蒸留と呼ばれる新しい手法の波が出現した。彼らは、より効率的な学生にGNN学習の知識を移すことを目標としている。これらの手法は、不十分なトレーニングデータと不完全なテストデータを持つ状況において課題に直面している。本稿では,AdaBoosting GNN-to-MLPナレッジ蒸留フレームワークであるAdaGMLPを提案する。
参考スコア（独自算出の注目度）: 15.505402580010104
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Graph Neural Networks (GNNs) have revolutionized graph-based machine learning, but their heavy computational demands pose challenges for latency-sensitive edge devices in practical industrial applications. In response, a new wave of methods, collectively known as GNN-to-MLP Knowledge Distillation, has emerged. They aim to transfer GNN-learned knowledge to a more efficient MLP student, which offers faster, resource-efficient inference while maintaining competitive performance compared to GNNs. However, these methods face significant challenges in situations with insufficient training data and incomplete test data, limiting their applicability in real-world applications. To address these challenges, we propose AdaGMLP, an AdaBoosting GNN-to-MLP Knowledge Distillation framework. It leverages an ensemble of diverse MLP students trained on different subsets of labeled nodes, addressing the issue of insufficient training data. Additionally, it incorporates a Node Alignment technique for robust predictions on test data with missing or incomplete features. Our experiments on seven benchmark datasets with different settings demonstrate that AdaGMLP outperforms existing G2M methods, making it suitable for a wide range of latency-sensitive real-world applications. We have submitted our code to the GitHub repository (https://github.com/WeigangLu/AdaGMLP-KDD24).
Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、グラフベースの機械学習に革命をもたらしたが、その重い計算要求は、実用的な産業アプリケーションにおいてレイテンシに敏感なエッジデバイスに課題をもたらす。これに対し、GNN-to-MLP Knowledge Distillationと呼ばれる新しい手法が出現した。彼らは、GNNが学習した知識をより効率的なMLP学生に転送することを目的としており、GNNと比較して競争性能を維持しながら、より高速でリソース効率の高い推論を提供する。しかし、これらの手法は、訓練データと不完全なテストデータが不足している状況において重大な課題に直面し、現実のアプリケーションに適用性を制限する。これらの課題に対処するため、我々はAdaBoosting GNN-to-MLP Knowledge Distillation frameworkであるAdaGMLPを提案する。ラベル付きノードの異なるサブセットで訓練された多様なMLP学生のアンサンブルを活用し、不十分なトレーニングデータの問題に対処する。さらに、不足または不完全な機能を持つテストデータの堅牢な予測のためのNodeアライメントテクニックも組み込まれている。 AdaGMLPが既存のG2M法より優れており、幅広い遅延に敏感な実世界のアプリケーションに適していることを示す。私たちはGitHubリポジトリにコードを提出しました(https://github.com/WeigangLu/AdaGMLP-KDD24)。

関連論文リスト

Teaching MLPs to Master Heterogeneous Graph-Structured Knowledge for Efficient and Accurate Inference [53.38082028252104]
我々はHGNNの優れた性能とリレーショナルの効率的な推論を組み合わせたHG2MとHG2M+を紹介する。 HG2Mは直接、教師HGNNの入力とソフトラベルをターゲットとしてノード特徴を持つ生徒を訓練する。 HG2Mは、大規模IGB-3M-19データセット上でのHGNNよりも379.24$timesの速度アップを示す。
論文参考訳（メタデータ） (2024-11-21T11:39:09Z)
A Teacher-Free Graph Knowledge Distillation Framework with Dual Self-Distillation [58.813991312803246]
本稿では,教師モデルやGNNを必要としない教師自由グラフ自己蒸留(TGS)フレームワークを提案する。 TGSは、トレーニングにおけるグラフトポロジの認識の利点を享受しているが、推論におけるデータ依存から解放されている。
論文参考訳（メタデータ） (2024-03-06T05:52:13Z)
SimMLP: Training MLPs on Graphs without Supervision [38.63554842214315]
グラフ学習のための自己教師型フレームワークであるSimMLPを紹介する。 SimMLPは、最適の場合において、GNNと等価性を達成できる最初の学習方法である。我々は、相互情報と帰納バイアスに基づいて、SimMLPとGNNの等価性を示す包括的な理論的分析を行う。
論文参考訳（メタデータ） (2024-02-14T03:16:13Z)
Label Deconvolution for Node Representation Learning on Large-scale Attributed Graphs against Learning Bias [75.44877675117749]
本稿では,GNNの逆写像に対する新しい,スケーラブルな近似による学習バイアスを軽減するために,ラベルの効率的な正規化手法,すなわちラベルのデコンボリューション(LD)を提案する。実験では、LDはOpen Graphデータセットのベンチマークで最先端のメソッドを大幅に上回っている。
論文参考訳（メタデータ） (2023-09-26T13:09:43Z)
Learning Strong Graph Neural Networks with Weak Information [64.64996100343602]
我々は、弱い情報(GLWI)を用いたグラフ学習問題に対する原則的アプローチを開発する。非完全構造を持つ入力グラフ上で長距離情報伝搬を行うデュアルチャネルGNNフレームワークであるD$2$PTを提案するが、グローバルな意味的類似性を符号化するグローバルグラフも提案する。
論文参考訳（メタデータ） (2023-05-29T04:51:09Z)
Graph Neural Networks are Inherently Good Generalizers: Insights by Bridging GNNs and MLPs [71.93227401463199]
本稿では、P(ropagational)MLPと呼ばれる中間モデルクラスを導入することにより、GNNの性能向上を本質的な能力に向ける。 PMLPは、トレーニングにおいてはるかに効率的でありながら、GNNと同等(あるいはそれ以上)に動作することを観察する。
論文参考訳（メタデータ） (2022-12-18T08:17:32Z)
Teaching Yourself: Graph Self-Distillation on Neighborhood for Node Classification [42.840122801915996]
本稿では,GNNとニューラルズ間のギャップを低減するため,近隣環境におけるグラフ自己蒸留(GSDN)フレームワークを提案する。 GSDNは既存のGNNよりも75XX高速で、16X-25Xは他の推論アクセラレーション手法よりも高速である。
論文参考訳（メタデータ） (2022-10-05T08:35:34Z)
NOSMOG: Learning Noise-robust and Structure-aware MLPs on Graphs [41.85649409565574]
グラフネットワーク(GNN)は、非ユークリッド構造データを扱う上での有効性を実証している。既存の方法は、ノードコンテンツ機能にのみ依存するマルチ層パーセプトロン(MLP)をトレーニングすることで、このスケーラビリティ問題に対処しようとする。本稿では,NOSMOG(Noise-robust Structure-Awares On Graphs)を学習し,その課題を克服する。
論文参考訳（メタデータ） (2022-08-22T01:47:07Z)
Graph-less Neural Networks: Teaching Old MLPs New Tricks via Distillation [34.676755383361005]
グラフレスニューラルネットワーク(GLNN)は、推論グラフに依存しない。競争性能を持つGLNNは,146X-273XでGNNよりも高速で,14X-27Xで他の加速度法よりも高速であることを示す。 GLNNの包括的な分析は、GLNNがGsと競合する結果が得られる時期と理由を示し、レイテンシに制約のあるアプリケーションにとって便利な選択肢として、GLNNを提案する。
論文参考訳（メタデータ） (2021-10-17T05:16:58Z)
Optimization and Generalization Analysis of Transduction through Gradient Boosting and Application to Multi-scale Graph Neural Networks [60.22494363676747]
現在のグラフニューラルネットワーク(GNN)は、オーバースムーシング(over-smoothing)と呼ばれる問題のため、自分自身を深くするのは難しいことが知られている。マルチスケールGNNは、オーバースムーシング問題を緩和するための有望なアプローチである。マルチスケールGNNを含むトランスダクティブ学習アルゴリズムの最適化と一般化を保証する。
論文参考訳（メタデータ） (2020-06-15T17:06:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。