論文の概要: Large Language Model Meets Graph Neural Network in Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2402.05894v2
• Date: Fri, 9 Feb 2024 08:08:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-12 19:21:54.408264
• Title: Large Language Model Meets Graph Neural Network in Knowledge Distillation
• Title（参考訳）: 知識蒸留におけるグラフニューラルネットワークと大規模言語モデル
• Authors: Shengxiang Hu, Guobing Zou, Song Yang, Yanglan Gan, Bofeng Zhang, Yixin Chen
• Abstract要約: LinguGKDは、追加のデータやモデルパラメータを必要とせずに、学生GNNの予測精度と収束率を大幅に向上させる。 教師のLLMと比較して、蒸留したGNNは、計算とストレージの要求をはるかに少なくした推論速度が優れている。
• 参考スコア（独自算出の注目度）: 8.145068353170894
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite recent community revelations about the advancements and potential applications of Large Language Models (LLMs) in understanding Text-Attributed Graph (TAG), the deployment of LLMs for production is hindered by its high computational and storage requirements, as well as long latencies during model inference. Simultaneously, although traditional Graph Neural Networks (GNNs) are light weight and adept at learning structural features of graphs, their ability to grasp the complex semantics in TAG is somewhat constrained for real applications. To address these limitations, we concentrate on the downstream task of node classification in TAG and propose a novel graph knowledge distillation framework, termed Linguistic Graph Knowledge Distillation (LinguGKD), using LLMs as teacher models and GNNs as student models for knowledge distillation. It involves TAG-oriented instruction tuning of LLM on designed tailored prompts, followed by propagating knowledge and aligning the hierarchically learned node features from the teacher LLM to the student GNN in latent space, employing a layer-adaptive contrastive learning strategy. Through extensive experiments on a variety of LLM and GNN models and multiple benchmark datasets, the proposed LinguGKD significantly boosts the student GNN's predictive accuracy and convergence rate, without the need of extra data or model parameters. Compared to teacher LLM, distilled GNN achieves superior inference speed equipped with much fewer computing and storage demands, when surpassing the teacher LLM's classification accuracy on some of benchmark datasets.
• Abstract（参考訳）: テキスト分散グラフ(TAG)の理解におけるLarge Language Models(LLMs)の進歩と潜在的な応用に関する最近のコミュニティの暴露にもかかわらず、本番環境におけるLLMの展開は、高い計算とストレージ要求とモデル推論の待ち時間によって妨げられている。 同時に、従来のグラフニューラルネットワーク(GNN)は軽量であり、グラフの構造的特徴の学習に適しているが、TAGにおける複雑なセマンティクスを理解する能力は、実際のアプリケーションには多少制約がある。 これらの制約に対処するため、我々はTAGにおけるノード分類の下流タスクに集中し、LinguGKD(LinguGKD)と呼ばれる新しいグラフ知識蒸留フレームワークを提案し、LLMを教師モデル、GNNを生徒モデルとして知識蒸留を行う。 設計された調整されたプロンプト上でのLLMのTAG指向の命令チューニングに加えて、知識を伝播し、教師のLLMから潜在空間の学生GNNへ階層的に学習されたノード特徴を調整し、層適応型コントラスト学習戦略を採用する。 様々なLLMモデルとGNNモデルおよび複数のベンチマークデータセットに関する広範な実験を通じて、LinguGKDは、追加のデータやモデルパラメータを必要とせずに、学生GNNの予測精度と収束率を大幅に向上させる。 教師のLLMと比較して、蒸留したGNNは、いくつかのベンチマークデータセットにおける教師のLLMの分類精度を上回る場合、はるかに少ない計算とストレージ要求を備えた推論速度を達成する。

関連論文リスト

• Anomaly Resilient Temporal QoS Prediction using Hypergraph Convoluted Transformer Network [0.47248250311484113]
  QoS(Quality-of-Service)予測は、サービスライフサイクルにおいて重要なタスクです。 従来の手法では、しばしばデータスパーシリティとコールドスタートの問題に遭遇する。 時間的予測のためのリアルタイム信頼対応フレームワークを導入する。
  論文  参考訳（メタデータ） (2024-10-23T11:01:39Z)
• Satellite Streaming Video QoE Prediction: A Real-World Subjective Database and Network-Level Prediction Models [59.061552498630874]
  LIVE-Viasat Real-World Satellite QoE Databaseを紹介する。 このデータベースは、現実世界のストリーミングサービスから記録された179のビデオで構成されている。 本稿では,QoE予測モデルの有効性を評価することで,この新たな資源の有用性を実証する。 また、ネットワークパラメータを予測された人間の知覚スコアにマッピングする新しいモデルを作成しました。
  論文  参考訳（メタデータ） (2024-10-17T18:22:50Z)
• Web Service QoS Prediction via Extended Canonical Polyadic-based Tensor Network [2.2083091880368855]
  Canonical Polyadic (CP)ベースのテンソルネットワークモデルは動的データの予測に効率的であることが証明されている。 現在のCPベースのテンソルネットワークモデルは、低次元の潜在特徴空間におけるユーザとサービスの相関を考慮していない。 本稿では,予測精度を向上させるために,拡張ポリエイドネットワーク(ECTN)モデルを提案する。
  論文  参考訳（メタデータ） (2024-08-29T05:56:35Z)
• GACL: Graph Attention Collaborative Learning for Temporal QoS Prediction [5.040979636805073]
  時間的予測のための新しいグラフ協調学習(GACL)フレームワークを提案する。 動的ユーザサービスグラフ上に構築され、過去のインタラクションを包括的にモデル化する。 WS-DREAMデータセットの実験は、GACLが時間的予測のための最先端の手法を著しく上回っていることを示している。
  論文  参考訳（メタデータ） (2024-08-20T05:38:47Z)
• A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
  グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。 我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。 GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
  論文  参考訳（メタデータ） (2024-06-19T22:30:08Z)
• ARRQP: Anomaly Resilient Real-time QoS Prediction Framework with Graph Convolution [0.16317061277456998]
  我々は、データ内の異常に対するレジリエンスを改善することに焦点を当てたリアルタイム予測フレームワーク(ARRQP)を導入する。 ARRQPはコンテキスト情報と協調的な洞察を統合し、ユーザとサービスのインタラクションの包括的な理解を可能にする。 ベンチマークWS-DREAMデータセットの結果は、正確でタイムリーな予測を達成する上で、フレームワークの有効性を示している。
  論文  参考訳（メタデータ） (2023-09-22T04:37:51Z)
• TPMCF: Temporal QoS Prediction using Multi-Source Collaborative Features [0.5161531917413706]
  時間的予測は、時間とともに適切なサービスを特定するために不可欠である。 近年の手法は, 様々な制約により, 所望の精度が得られなかった。 本稿では,マルチソース協調機能を用いた時間予測のためのスケーラブルな戦略を提案する。
  論文  参考訳（メタデータ） (2023-03-30T06:49:53Z)
• Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
  長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。 完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。 本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
  論文  参考訳（メタデータ） (2022-09-20T14:41:37Z)
• Ordinal Graph Gamma Belief Network for Social Recommender Systems [54.9487910312535]
  我々は,階層型ベイズモデルであるオーディナルグラフファクター解析(OGFA)を開発し,ユーザ・イテムとユーザ・ユーザインタラクションを共同でモデル化する。 OGFAは、優れたレコメンデーションパフォーマンスを達成するだけでなく、代表ユーザの好みに応じた解釈可能な潜在因子も抽出する。 我々はOGFAを,マルチ確率層深層確率モデルであるオーディナルグラフガンマ信念ネットワークに拡張する。
  論文  参考訳（メタデータ） (2022-09-12T09:19:22Z)
• Topology-based Clusterwise Regression for User Segmentation and Demand Forecasting [63.78344280962136]
  本研究は,パブリックおよび新規な商用データ集合を用いて,アナリストがユーザベースをクラスタリングし,詳細なレベルで需要を計画できることを示す。 本研究は,TDAに基づく時系列クラスタリングと行列因数分解法によるクラスタ回帰を実践者にとって実行可能なツールとして導入することを目的とする。
  論文  参考訳（メタデータ） (2020-09-08T12:10:10Z)
• Tensor Graph Convolutional Networks for Multi-relational and Robust Learning [74.05478502080658]
  本稿では,テンソルで表されるグラフの集合に関連するデータから,スケーラブルな半教師付き学習(SSL)を実現するためのテンソルグラフ畳み込みネットワーク(TGCN)を提案する。 提案アーキテクチャは、標準的なGCNと比較して大幅に性能が向上し、最先端の敵攻撃に対処し、タンパク質間相互作用ネットワーク上でのSSL性能が著しく向上する。
  論文  参考訳（メタデータ） (2020-03-15T02:33:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。