論文の概要: Teaching MLP More Graph Information: A Three-stage Multitask Knowledge Distillation Framework

• arxiv url: http://arxiv.org/abs/2403.01079v1
• Date: Sat, 2 Mar 2024 03:29:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-05 15:16:32.600093
• Title: Teaching MLP More Graph Information: A Three-stage Multitask Knowledge Distillation Framework
• Title（参考訳）: MLPにもっとグラフ情報を教える: 3段階のマルチタスク知識蒸留フレームワーク
• Authors: Junxian Li, Bin Shi, Erfei Cui, Hua Wei, Qinghua Zheng
• Abstract要約: 大規模グラフデータセットにおける推論タスクの課題について検討する。 本稿では,新しい3段階蒸留フレームワークを提案する。 GNNでグラフデータ処理を担当するHeat Kernelsは、隠れたレイヤ出力をマッチングして、学生の隠れたレイヤのパフォーマンスを改善する。
• 参考スコア（独自算出の注目度）: 24.8604337247119
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the challenging problem for inference tasks on large-scale graph datasets of Graph Neural Networks: huge time and memory consumption, and try to overcome it by reducing reliance on graph structure. Even though distilling graph knowledge to student MLP is an excellent idea, it faces two major problems of positional information loss and low generalization. To solve the problems, we propose a new three-stage multitask distillation framework. In detail, we use Positional Encoding to capture positional information. Also, we introduce Neural Heat Kernels responsible for graph data processing in GNN and utilize hidden layer outputs matching for better performance of student MLP's hidden layers. To the best of our knowledge, it is the first work to include hidden layer distillation for student MLP on graphs and to combine graph Positional Encoding with MLP. We test its performance and robustness with several settings and draw the conclusion that our work can outperform well with good stability.
• Abstract（参考訳）: グラフニューラルネットワークの大規模グラフデータセットにおける推論タスクの課題として,膨大な時間とメモリ消費について検討し,グラフ構造への依存度を低減し,その克服を試みる。 グラフ知識を学生MLPに蒸留することは優れたアイデアであるが、位置情報損失と低一般化の2つの大きな問題に直面している。 そこで本研究では,新しい3段階マルチタスク蒸留フレームワークを提案する。 具体的には,位置情報の取得に位置符号化を用いる。 また,gnnにおけるグラフデータ処理を担うニューラルヒートカーネルを導入し,学生mlpの隠れレイヤの性能向上のために,隠れレイヤ出力マッチングを利用する。 我々の知る限りでは、グラフ上の学生MDPに隠れた層蒸留を取り入れ、グラフ位置エンコーディングとMLPを組み合わせた最初の研究である。 パフォーマンスと堅牢性をいくつかの設定でテストし、作業が優れた安定性で優れたパフォーマンスを達成できるという結論を導きました。

関連論文リスト

• Beyond Redundancy: Information-aware Unsupervised Multiplex Graph Structure Learning [12.138893216674457]
  Unsupervised Multiplex Graph Learning (UMGL) は、手動ラベリングなしで様々なエッジタイプのノード表現を学習することを目的としている。 本稿では,複数のグラフから融合グラフを教師なしで学習する,より現実的で困難なタスクに焦点を当てる。 具体的には,提案する情報対応Unsupervised Multiplex Graph Fusion framework (InfoMGF) は,無関係ノイズを除去するためにグラフ構造を改良する。
  論文  参考訳（メタデータ） (2024-09-25T22:00:26Z)
• Parameter-Efficient Tuning Large Language Models for Graph Representation Learning [62.26278815157628]
  Graph-awareを導入します。 GPEFT - グラフ表現学習のための新しい手法。 グラフニューラルネットワーク(GNN)を用いて、隣接するノードからグラフプロンプトに構造情報をエンコードする。 我々は8つの異なるテキストリッチグラフで実施した総合的な実験を通じて,リンク予測評価において hit@1 と Mean Reciprocal Rank (MRR) の平均 2% の改善を観察し,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2024-04-28T18:36:59Z)
• VQGraph: Rethinking Graph Representation Space for Bridging GNNs and MLPs [97.63412451659826]
  VQGraphは、各ノードのローカルサブストラクチャを離散コードとしてエンコードできるグラフデータ上の構造認識トークン化器を学習する。 VQGraphは、GNN-to-MLP蒸留におけるトランスダクティブおよびインダクティブの両方で、新しい最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-08-04T02:58:08Z)
• Unsupervised Multiplex Graph Learning with Complementary and Consistent Information [20.340977728674698]
  非教師付き多重グラフ学習(UMGL)は、下流の異なるタスクに対して大きな効果を発揮することが示されている。 従来の手法は通常、実用上の問題、すなわちサンプル外問題やノイズ問題を見落としている。 本稿では,相補的情報と一貫した情報の両方を効果的かつ効率的に探索する手法を提案する。
  論文  参考訳（メタデータ） (2023-08-03T08:24:08Z)
• SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
  テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。 まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。 次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
  論文  参考訳（メタデータ） (2023-08-03T07:00:04Z)
• All in One: Multi-task Prompting for Graph Neural Networks [30.457491401821652]
  本稿では,グラフモデルのための新しいマルチタスクプロンプト手法を提案する。 まず、グラフプロンプトと言語プロンプトのフォーマットを、プロンプトトークン、トークン構造、挿入パターンで統一する。 次に、様々なグラフアプリケーションのタスク空間を調査し、下流の問題をグラフレベルのタスクに再構成する。
  論文  参考訳（メタデータ） (2023-07-04T06:27:31Z)
• Learning Strong Graph Neural Networks with Weak Information [64.64996100343602]
  我々は、弱い情報(GLWI)を用いたグラフ学習問題に対する原則的アプローチを開発する。 非完全構造を持つ入力グラフ上で長距離情報伝搬を行うデュアルチャネルGNNフレームワークであるD$2$PTを提案するが、グローバルな意味的類似性を符号化するグローバルグラフも提案する。
  論文  参考訳（メタデータ） (2023-05-29T04:51:09Z)
• Localized Contrastive Learning on Graphs [110.54606263711385]
  局所グラフコントラスト学習(Local-GCL)という,シンプルだが効果的なコントラストモデルを導入する。 その単純さにもかかわらず、Local-GCLは、様々なスケールと特性を持つグラフ上の自己教師付きノード表現学習タスクにおいて、非常に競争力のある性能を達成する。
  論文  参考訳（メタデータ） (2022-12-08T23:36:00Z)
• NOSMOG: Learning Noise-robust and Structure-aware MLPs on Graphs [41.85649409565574]
  グラフネットワーク(GNN)は、非ユークリッド構造データを扱う上での有効性を実証している。 既存の方法は、ノードコンテンツ機能にのみ依存するマルチ層パーセプトロン(MLP)をトレーニングすることで、このスケーラビリティ問題に対処しようとする。 本稿では,NOSMOG(Noise-robust Structure-Awares On Graphs)を学習し,その課題を克服する。
  論文  参考訳（メタデータ） (2022-08-22T01:47:07Z)
• Graph-MLP: Node Classification without Message Passing in Graph [28.604893350871777]
  グラフニューラルネットワーク(GNN)は、非ユークリッド構造データを扱う上での有効性を実証している。 最近の研究は主に強力なメッセージパッシングモジュールに焦点を当てているが、この記事では、メッセージパッシングモジュールは必要ないことを示す。 本稿では,グラフ構造を利用した教師信号を用いた,純粋な多層パーセプトロンベースのGraph-MLPを提案する。
  論文  参考訳（メタデータ） (2021-06-08T02:07:21Z)
• Learnable Graph Matching: Incorporating Graph Partitioning with Deep Feature Learning for Multiple Object Tracking [58.30147362745852]
  フレーム間のデータアソシエーションは、Multiple Object Tracking(MOT)タスクの中核にある。 既存の手法は、主にトラックレットとフレーム内検出の間のコンテキスト情報を無視する。 そこで本研究では,学習可能なグラフマッチング手法を提案する。
  論文  参考訳（メタデータ） (2021-03-30T08:58:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。