論文の概要: Large Language Model Meets Graph Neural Network in Knowledge
Distillation
- arxiv url: http://arxiv.org/abs/2402.05894v2
- Date: Fri, 9 Feb 2024 08:08:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-12 19:21:54.408264
- Title: Large Language Model Meets Graph Neural Network in Knowledge
Distillation
- Title(参考訳): 知識蒸留におけるグラフニューラルネットワークと大規模言語モデル
- Authors: Shengxiang Hu, Guobing Zou, Song Yang, Yanglan Gan, Bofeng Zhang,
Yixin Chen
- Abstract要約: LinguGKDは、追加のデータやモデルパラメータを必要とせずに、学生GNNの予測精度と収束率を大幅に向上させる。
教師のLLMと比較して、蒸留したGNNは、計算とストレージの要求をはるかに少なくした推論速度が優れている。
- 参考スコア(独自算出の注目度): 8.145068353170894
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite recent community revelations about the advancements and potential
applications of Large Language Models (LLMs) in understanding Text-Attributed
Graph (TAG), the deployment of LLMs for production is hindered by its high
computational and storage requirements, as well as long latencies during model
inference. Simultaneously, although traditional Graph Neural Networks (GNNs)
are light weight and adept at learning structural features of graphs, their
ability to grasp the complex semantics in TAG is somewhat constrained for real
applications. To address these limitations, we concentrate on the downstream
task of node classification in TAG and propose a novel graph knowledge
distillation framework, termed Linguistic Graph Knowledge Distillation
(LinguGKD), using LLMs as teacher models and GNNs as student models for
knowledge distillation. It involves TAG-oriented instruction tuning of LLM on
designed tailored prompts, followed by propagating knowledge and aligning the
hierarchically learned node features from the teacher LLM to the student GNN in
latent space, employing a layer-adaptive contrastive learning strategy. Through
extensive experiments on a variety of LLM and GNN models and multiple benchmark
datasets, the proposed LinguGKD significantly boosts the student GNN's
predictive accuracy and convergence rate, without the need of extra data or
model parameters. Compared to teacher LLM, distilled GNN achieves superior
inference speed equipped with much fewer computing and storage demands, when
surpassing the teacher LLM's classification accuracy on some of benchmark
datasets.
- Abstract(参考訳): テキスト分散グラフ(TAG)の理解におけるLarge Language Models(LLMs)の進歩と潜在的な応用に関する最近のコミュニティの暴露にもかかわらず、本番環境におけるLLMの展開は、高い計算とストレージ要求とモデル推論の待ち時間によって妨げられている。
同時に、従来のグラフニューラルネットワーク(GNN)は軽量であり、グラフの構造的特徴の学習に適しているが、TAGにおける複雑なセマンティクスを理解する能力は、実際のアプリケーションには多少制約がある。
これらの制約に対処するため、我々はTAGにおけるノード分類の下流タスクに集中し、LinguGKD(LinguGKD)と呼ばれる新しいグラフ知識蒸留フレームワークを提案し、LLMを教師モデル、GNNを生徒モデルとして知識蒸留を行う。
設計された調整されたプロンプト上でのLLMのTAG指向の命令チューニングに加えて、知識を伝播し、教師のLLMから潜在空間の学生GNNへ階層的に学習されたノード特徴を調整し、層適応型コントラスト学習戦略を採用する。
様々なLLMモデルとGNNモデルおよび複数のベンチマークデータセットに関する広範な実験を通じて、LinguGKDは、追加のデータやモデルパラメータを必要とせずに、学生GNNの予測精度と収束率を大幅に向上させる。
教師のLLMと比較して、蒸留したGNNは、いくつかのベンチマークデータセットにおける教師のLLMの分類精度を上回る場合、はるかに少ない計算とストレージ要求を備えた推論速度を達成する。
関連論文リスト
- Parameter-Efficient Tuning Large Language Models for Graph Representation Learning [62.26278815157628]
Graph-awareを導入します。
GPEFT - グラフ表現学習のための新しい手法。
グラフニューラルネットワーク(GNN)を用いて、隣接するノードからグラフプロンプトに構造情報をエンコードする。
我々は8つの異なるテキストリッチグラフで実施した総合的な実験を通じて,リンク予測評価において hit@1 と Mean Reciprocal Rank (MRR) の平均 2% の改善を観察し,本手法の有効性を検証した。
論文 参考訳(メタデータ) (2024-04-28T18:36:59Z) - Exploring the Potential of Large Language Models in Graph Generation [51.046188600990014]
グラフ生成は、与えられたプロパティを持つグラフを生成するために、大きな言語モデル(LLM)を必要とする。
本稿では,LLMのグラフ生成能力について,系統的なタスク設計と実験による検討を行う。
評価の結果,LLM,特にGPT-4は,グラフ生成タスクに予備的能力を示すことがわかった。
論文 参考訳(メタデータ) (2024-03-21T12:37:54Z) - Efficient Large Language Models Fine-Tuning On Graphs [23.19795835873144]
Text-Attributed Graphs (TAGs) からの学習は、その幅広い現実世界のアプリケーションのために大きな注目を集めている。
本稿では,TAG上でのLarge Language Models (LLMs) のエンドツーエンド微調整のための新しい,効率的なアプローチについて紹介する。
論文 参考訳(メタデータ) (2023-12-07T22:35:16Z) - Large Language Models as Topological Structure Enhancers for
Text-Attributed Graphs [4.90251248691462]
大規模言語モデル(LLM)は自然言語処理(NLP)の分野に革命をもたらした。
本研究では,LLMの情報検索とテキスト生成機能を活用して,ノード分類設定の下でのテキスト分散グラフ(TAG)のトポロジ構造を洗練・強化する方法について検討する。
論文 参考訳(メタデータ) (2023-11-24T07:53:48Z) - Disentangled Representation Learning with Large Language Models for
Text-Attributed Graphs [57.052160123387104]
本稿では,TAGに対するLLMの推論と予測能力を向上させることができるDGTLモデルを提案する。
提案するDGTLモデルでは, グラフ構造情報をGNN層に組み込む。
実験により,提案したDGTLモデルにより,最先端のベースラインよりも優れた性能,あるいは同等の性能が得られることを示した。
論文 参考訳(メタデータ) (2023-10-27T14:00:04Z) - Graph Neural Prompting with Large Language Models [32.97391910476073]
Graph Neural Prompting (GNP)は、知識グラフから有益な知識を学ぶために、事前訓練された言語モデルを支援するための新しいプラグアンドプレイ方式である。
複数のデータセットに対する大規模な実験は、常識的および生物医学的推論タスクにおいて、GNPの優位性を示す。
論文 参考訳(メタデータ) (2023-09-27T06:33:29Z) - Label Deconvolution for Node Representation Learning on Large-scale
Attributed Graphs against Learning Bias [75.44877675117749]
本稿では,GNNの逆写像に対する新しい,スケーラブルな近似による学習バイアスを軽減するために,ラベルの効率的な正規化手法,すなわちラベルのデコンボリューション(LD)を提案する。
実験では、LDはOpen Graphデータセットのベンチマークで最先端のメソッドを大幅に上回っている。
論文 参考訳(メタデータ) (2023-09-26T13:09:43Z) - Exploring the Potential of Large Language Models (LLMs) in Learning on
Graphs [59.74814230246034]
大規模言語モデル(LLM)は、広範な共通知識と強力な意味理解能力を持つことが証明されている。
LLMs-as-EnhancersとLLMs-as-Predictorsの2つのパイプラインについて検討する。
論文 参考訳(メタデータ) (2023-07-07T05:31:31Z) - Harnessing Explanations: LLM-to-LM Interpreter for Enhanced
Text-Attributed Graph Representation Learning [51.90524745663737]
重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。
提案手法は、確立されたTAGデータセットの最先端結果を実現する。
本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
論文 参考訳(メタデータ) (2023-05-31T03:18:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。