論文の概要: NOSMOG: Learning Noise-robust and Structure-aware MLPs on Graphs

• arxiv url: http://arxiv.org/abs/2208.10010v1
• Date: Mon, 22 Aug 2022 01:47:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-23 13:53:40.018839
• Title: NOSMOG: Learning Noise-robust and Structure-aware MLPs on Graphs
• Title（参考訳）: NOSMOG: グラフ上でのノイズロバストと構造認識型MLPの学習
• Authors: Yijun Tian, Chuxu Zhang, Zhichun Guo, Xiangliang Zhang, Nitesh V. Chawla
• Abstract要約: グラフネットワーク(GNN)は、非ユークリッド構造データを扱う上での有効性を実証している。 既存の方法は、ノードコンテンツ機能にのみ依存するマルチ層パーセプトロン(MLP)をトレーニングすることで、このスケーラビリティ問題に対処しようとする。 本稿では,NOSMOG(Noise-robust Structure-Awares On Graphs)を学習し,その課題を克服する。
• 参考スコア（独自算出の注目度）: 41.85649409565574
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While Graph Neural Networks (GNNs) have demonstrated their efficacy in dealing with non-Euclidean structural data, they are difficult to be deployed in real applications due to the scalability constraint imposed by multi-hop data dependency. Existing methods attempt to address this scalability issue by training multi-layer perceptrons (MLPs) exclusively on node content features using labels derived from trained GNNs. Even though the performance of MLPs can be significantly improved, two issues prevent MLPs from outperforming GNNs and being used in practice: the ignorance of graph structural information and the sensitivity to node feature noises. In this paper, we propose to learn NOise-robust Structure-aware MLPs On Graphs (NOSMOG) to overcome the challenges. Specifically, we first complement node content with position features to help MLPs capture graph structural information. We then design a novel representational similarity distillation strategy to inject structural node similarities into MLPs. Finally, we introduce the adversarial feature augmentation to ensure stable learning against feature noises and further improve performance. Extensive experiments demonstrate that NOSMOG outperforms GNNs and the state-of-the-art method in both transductive and inductive settings across seven datasets, while maintaining a competitive inference efficiency.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、非ユークリッド構造データを扱う上での有効性を実証しているが、マルチホップデータ依存性によって課されるスケーラビリティの制約のため、実際のアプリケーションにデプロイすることは困難である。 既存の方法は、訓練されたGNNから派生したラベルを使用して、ノードコンテンツ機能のみにマルチ層パーセプトロン(MLP)をトレーニングすることで、このスケーラビリティ問題に対処しようとする。 MLPの性能は大幅に改善されるが、2つの問題は、グラフ構造情報の無知とノード特徴雑音に対する感度の2つである。 本稿では,Noise-robust Structure-aware MLPs On Graphs (NOSMOG) を学習し,その課題を克服する。 具体的には、まずノード内容と位置特徴を補完し、MPPがグラフ構造情報をキャプチャするのに役立つ。 次に,MLPに構造ノード類似性を注入するための新しい表現類似度蒸留法を設計する。 最後に,特徴雑音に対する安定学習を確実にし,さらに性能を向上させるために,対向的特徴拡張を導入する。 NOSMOGは、7つのデータセットにわたるトランスダクティブとインダクティブの両方の設定において、GNNと最先端の手法より優れており、競争力のある推論効率を維持している。

関連論文リスト

• Teaching MLPs to Master Heterogeneous Graph-Structured Knowledge for Efficient and Accurate Inference [53.38082028252104]
  我々はHGNNの優れた性能とリレーショナルの効率的な推論を組み合わせたHG2MとHG2M+を紹介する。 HG2Mは直接、教師HGNNの入力とソフトラベルをターゲットとしてノード特徴を持つ生徒を訓練する。 HG2Mは、大規模IGB-3M-19データセット上でのHGNNよりも379.24$timesの速度アップを示す。
  論文  参考訳（メタデータ） (2024-11-21T11:39:09Z)
• AdaGMLP: AdaBoosting GNN-to-MLP Knowledge Distillation [15.505402580010104]
  GNN-to-MLPナレッジ蒸留と呼ばれる新しい手法の波が出現した。 彼らは、より効率的な学生にGNN学習の知識を移すことを目標としている。 これらの手法は、不十分なトレーニングデータと不完全なテストデータを持つ状況において課題に直面している。 本稿では,AdaBoosting GNN-to-MLPナレッジ蒸留フレームワークであるAdaGMLPを提案する。
  論文  参考訳（メタデータ） (2024-05-23T08:28:44Z)
• SimMLP: Training MLPs on Graphs without Supervision [38.63554842214315]
  グラフ学習のための自己教師型フレームワークであるSimMLPを紹介する。 SimMLPは、最適の場合において、GNNと等価性を達成できる最初の学習方法である。 我々は、相互情報と帰納バイアスに基づいて、SimMLPとGNNの等価性を示す包括的な理論的分析を行う。
  論文  参考訳（メタデータ） (2024-02-14T03:16:13Z)
• Label Deconvolution for Node Representation Learning on Large-scale Attributed Graphs against Learning Bias [75.44877675117749]
  本稿では,GNNの逆写像に対する新しい,スケーラブルな近似による学習バイアスを軽減するために,ラベルの効率的な正規化手法,すなわちラベルのデコンボリューション(LD)を提案する。 実験では、LDはOpen Graphデータセットのベンチマークで最先端のメソッドを大幅に上回っている。
  論文  参考訳（メタデータ） (2023-09-26T13:09:43Z)
• Edge-free but Structure-aware: Prototype-Guided Knowledge Distillation from GNNs to MLPs [22.541655587228203]
  グラフタスク上での低遅延多層パーセプトロン(MLP)への高精度グラフニューラルネットワーク(GNN)の蒸留はホットな研究トピックとなっている。 グラフエッジ(エッジフリー)を必要としないが構造認識を学習するプロトタイプガイド型知識蒸留(PGKD)法を提案する。
  論文  参考訳（メタデータ） (2023-03-24T02:28:55Z)
• Graph Neural Networks are Inherently Good Generalizers: Insights by Bridging GNNs and MLPs [71.93227401463199]
  本稿では、P(ropagational)MLPと呼ばれる中間モデルクラスを導入することにより、GNNの性能向上を本質的な能力に向ける。 PMLPは、トレーニングにおいてはるかに効率的でありながら、GNNと同等(あるいはそれ以上)に動作することを観察する。
  論文  参考訳（メタデータ） (2022-12-18T08:17:32Z)
• SA-MLP: Distilling Graph Knowledge from GNNs into Structure-Aware MLP [46.52398427166938]
  予測加速の1つの有望な方向は、GNNをメッセージパスなしの学生多層パーセプトロンに蒸留することである。 本稿では,構造化情報のための学習能力を高めるための構造混合知識戦略を提案する。 我々のSA-MLPは、より高速な推論支援を維持しながら、教師のGNNを一貫して上回ります。
  論文  参考訳（メタデータ） (2022-10-18T05:55:36Z)
• Towards Unsupervised Deep Graph Structure Learning [67.58720734177325]
  本稿では,学習したグラフトポロジを外部ガイダンスなしでデータ自身で最適化する,教師なしグラフ構造学習パラダイムを提案する。 具体的には、元のデータから"アンカーグラフ"として学習目標を生成し、対照的な損失を用いてアンカーグラフと学習グラフとの一致を最大化する。
  論文  参考訳（メタデータ） (2022-01-17T11:57:29Z)
• Graph-MLP: Node Classification without Message Passing in Graph [28.604893350871777]
  グラフニューラルネットワーク(GNN)は、非ユークリッド構造データを扱う上での有効性を実証している。 最近の研究は主に強力なメッセージパッシングモジュールに焦点を当てているが、この記事では、メッセージパッシングモジュールは必要ないことを示す。 本稿では,グラフ構造を利用した教師信号を用いた,純粋な多層パーセプトロンベースのGraph-MLPを提案する。
  論文  参考訳（メタデータ） (2021-06-08T02:07:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。