論文の概要: Train Your Own GNN Teacher: Graph-Aware Distillation on Textual Graphs

• arxiv url: http://arxiv.org/abs/2304.10668v1
• Date: Thu, 20 Apr 2023 22:34:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-24 16:26:50.015129
• Title: Train Your Own GNN Teacher: Graph-Aware Distillation on Textual Graphs
• Title（参考訳）: GNN教師のトレーニング:テキストグラフによるグラフ認識蒸留
• Authors: Costas Mavromatis, Vassilis N. Ioannidis, Shen Wang, Da Zheng, Soji Adeshina, Jun Ma, Han Zhao, Christos Faloutsos, George Karypis
• Abstract要約: グラフのない高速推論のためのLMにグラフ構造をエンコードするグラフ認識蒸留フレームワーク(GRAD)を開発した。 従来の知識蒸留とは異なり、GRADはGNNの教師とグラフのない学生を、共有LMを介してグラフのノード上で共同で最適化する。 トランスダクティブおよびインダクティブの両方の設定における8つのノード分類ベンチマークの実験は、テキストグラフの既存の蒸留手法よりもGRADの方が優れていることを示している。
• 参考スコア（独自算出の注目度）: 37.48313839125563
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: How can we learn effective node representations on textual graphs? Graph Neural Networks (GNNs) that use Language Models (LMs) to encode textual information of graphs achieve state-of-the-art performance in many node classification tasks. Yet, combining GNNs with LMs has not been widely explored for practical deployments due to its scalability issues. In this work, we tackle this challenge by developing a Graph-Aware Distillation framework (GRAD) to encode graph structures into an LM for graph-free, fast inference. Different from conventional knowledge distillation, GRAD jointly optimizes a GNN teacher and a graph-free student over the graph's nodes via a shared LM. This encourages the graph-free student to exploit graph information encoded by the GNN teacher while at the same time, enables the GNN teacher to better leverage textual information from unlabeled nodes. As a result, the teacher and the student models learn from each other to improve their overall performance. Experiments in eight node classification benchmarks in both transductive and inductive settings showcase GRAD's superiority over existing distillation approaches for textual graphs.
• Abstract（参考訳）: テキストグラフ上で効率的にノード表現を学習する方法 言語モデル(LM)を用いてグラフのテキスト情報をエンコードするグラフニューラルネットワーク(GNN)は、多くのノード分類タスクにおいて最先端のパフォーマンスを達成する。 しかし、GNNとLMの組み合わせは、スケーラビリティの問題のため、実用的なデプロイメントでは広く検討されていない。 本研究では,グラフのない高速推論のためのLMにグラフ構造をエンコードするGRAD (Graph-Aware Distillation framework) を開発した。 従来の知識蒸留とは異なり、gradは共有lmを介してgnn教師とグラフフリーの学生をグラフのノード上で共同で最適化する。 これにより、グラフフリーの学生は、gnnの教師がエンコードしたグラフ情報を活用できると同時に、ラベルのないノードからのテキスト情報を活用することができる。 その結果、教師と生徒のモデルは相互に学習し、全体的なパフォーマンスを改善する。 トランスダクティブおよびインダクティブ設定における8つのノード分類ベンチマークの実験は、テキストグラフに対する既存の蒸留アプローチよりもgradが優れていることを示している。

関連論文リスト

• GraphAlign: Pretraining One Graph Neural Network on Multiple Graphs via Feature Alignment [30.56443056293688]
  グラフ自己教師型学習(SSL)は、グラフ構造化データによるマイニングと学習をかなり約束する。 本研究では,グラフニューラルネットワーク(GNN)を,豊富なノード特徴を持つグラフのコレクションにプリトレーニングすることを目的としている。 本稿では,既存のグラフSSLフレームワークにシームレスに統合可能な汎用GraphAlign法を提案する。
  論文  参考訳（メタデータ） (2024-06-05T05:22:32Z)
• Hypergraph-enhanced Dual Semi-supervised Graph Classification [14.339207883093204]
  半教師付きグラフ分類のためのハイパーグラフ拡張DuALフレームワークHEALを提案する。 ノード間の高次関係をよりよく探求するために,複雑なノード依存を適応的に学習するハイパーグラフ構造を設計する。 学習したハイパーグラフに基づいて,ハイパーエッジ間の相互作用を捉える線グラフを導入する。
  論文  参考訳（メタデータ） (2024-05-08T02:44:13Z)
• Parameter-Efficient Tuning Large Language Models for Graph Representation Learning [62.26278815157628]
  Graph-awareを導入します。 GPEFT - グラフ表現学習のための新しい手法。 グラフニューラルネットワーク(GNN)を用いて、隣接するノードからグラフプロンプトに構造情報をエンコードする。 我々は8つの異なるテキストリッチグラフで実施した総合的な実験を通じて,リンク予測評価において hit@1 と Mean Reciprocal Rank (MRR) の平均 2% の改善を観察し,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2024-04-28T18:36:59Z)
• G-Retriever: Retrieval-Augmented Generation for Textual Graph Understanding and Question Answering [61.93058781222079]
  現実のテキストグラフを対象とするフレキシブルな問合せフレームワークを開発した。 一般のテキストグラフに対する最初の検索拡張生成(RAG)手法を提案する。 G-Retrieverは、このタスクをSteiner Tree最適化問題として定式化し、グラフ上でRAGを実行する。
  論文  参考訳（メタデータ） (2024-02-12T13:13:04Z)
• GraphGPT: Graph Instruction Tuning for Large Language Models [27.036935149004726]
  グラフニューラルネットワーク(GNN)は、グラフ構造を理解するために進化してきた。 堅牢性を高めるために、自己教師付き学習(SSL)はデータ拡張の重要なツールとなっている。 本研究は,ゼロショット学習環境におけるグラフモデルの一般化を推し進めることによって,この問題に対処する。
  論文  参考訳（メタデータ） (2023-10-19T06:17:46Z)
• SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
  テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。 まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。 次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
  論文  参考訳（メタデータ） (2023-08-03T07:00:04Z)
• Compressing Deep Graph Neural Networks via Adversarial Knowledge Distillation [41.00398052556643]
  本稿では,GraphAKD というグラフモデルのための新しい知識蒸留フレームワークを提案する。 識別器は教師の知識と学生が継承するものを区別し、学生GNNはジェネレータとして働き、識別器を騙す。 その結果、GraphAKDは複雑な教師GNNからコンパクトな学生GNNに正確な知識を伝達できることがわかった。
  論文  参考訳（メタデータ） (2022-05-24T00:04:43Z)
• Towards Unsupervised Deep Graph Structure Learning [67.58720734177325]
  本稿では,学習したグラフトポロジを外部ガイダンスなしでデータ自身で最適化する,教師なしグラフ構造学習パラダイムを提案する。 具体的には、元のデータから"アンカーグラフ"として学習目標を生成し、対照的な損失を用いてアンカーグラフと学習グラフとの一致を最大化する。
  論文  参考訳（メタデータ） (2022-01-17T11:57:29Z)
• Iterative Deep Graph Learning for Graph Neural Networks: Better and Robust Node Embeddings [53.58077686470096]
  グラフ構造とグラフ埋め込みを協調的かつ反復的に学習するための、エンドツーエンドのグラフ学習フレームワーク、すなわち、IDGL(Iterative Deep Graph Learning)を提案する。 実験の結果,提案したIDGLモデルは,最先端のベースラインを一貫して上回る,あるいは一致させることができることがわかった。
  論文  参考訳（メタデータ） (2020-06-21T19:49:15Z)
• XGNN: Towards Model-Level Explanations of Graph Neural Networks [113.51160387804484]
  グラフニューラルネットワーク(GNN)は、隣の情報を集約して組み合わせることでノードの特徴を学習する。 GNNはブラックボックスとして扱われ、人間の知的な説明が欠けている。 我々はモデルレベルでGNNを解釈する新しい手法 XGNN を提案する。
  論文  参考訳（メタデータ） (2020-06-03T23:52:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。