論文の概要: Large Language Model Meets Graph Neural Network in Knowledge Distillation
- arxiv url: http://arxiv.org/abs/2402.05894v3
- Date: Wed, 5 Jun 2024 11:38:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-07 03:25:10.375916
- Title: Large Language Model Meets Graph Neural Network in Knowledge Distillation
- Title（参考訳）: 知識蒸留におけるグラフニューラルネットワークを用いた大規模言語モデル
- Authors: Shengxiang Hu, Guobing Zou, Song Yang, Yanglan Gan, Bofeng Zhang, Yixin Chen,
- Abstract要約: サービス指向アーキテクチャにおけるQoS(Quality of Service)を予測するための時間認識フレームワークを提案する。
提案するTOGCLフレームワークは,複数のメトリクスにわたって最先端のメソッドを著しく上回り,最大38.80%の改善を実現している。
- 参考スコア（独自算出の注目度）: 7.686812700685084
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In service-oriented architectures, accurately predicting the Quality of Service (QoS) is crucial for maintaining reliability and enhancing user satisfaction. However, significant challenges remain due to existing methods always overlooking high-order latent collaborative relationships between users and services and failing to dynamically adjust feature learning for every specific user-service invocation, which are critical for learning accurate features. Additionally, reliance on RNNs for capturing QoS evolution hampers models' ability to detect long-term trends due to difficulties in managing long-range dependencies. To address these challenges, we propose the \underline{T}arget-Prompt \underline{O}nline \underline{G}raph \underline{C}ollaborative \underline{L}earning (TOGCL) framework for temporal-aware QoS prediction. TOGCL leverages a dynamic user-service invocation graph to model historical interactions, providing a comprehensive representation of user-service relationships. Building on this graph, it develops a target-prompt graph attention network to extract online deep latent features of users and services at each time slice, simultaneously considering implicit collaborative relationships between target users/services and their neighbors, as well as relevant historical QoS values. Additionally, a multi-layer Transformer encoder is employed to uncover temporal feature evolution patterns of users and services, leading to temporal-aware QoS prediction. Extensive experiments conducted on the WS-DREAM dataset demonstrate that our proposed TOGCL framework significantly outperforms state-of-the-art methods across multiple metrics, achieving improvements of up to 38.80\%. These results underscore the effectiveness of the TOGCL framework for precise temporal QoS prediction.
- Abstract（参考訳）: サービス指向アーキテクチャでは、信頼性を維持し、ユーザの満足度を高めるために、QoS(Quality of Service)を正確に予測することが重要です。
しかし、ユーザとサービス間の高次の協調関係を常に見落とし、正確な機能を学ぶ上で重要な特定のユーザサービス呼び出し毎に機能学習を動的に調整できないため、大きな課題が残っている。
さらに、QoS進化を捉えるためのRNNに依存しているため、長距離依存関係の管理が難しいため、長期的なトレンドを検出することができる。
これらの課題に対処するために、時間対応QoS予測のための \underline{T}arget-Prompt \underline{O}nline \underline{G}raph \underline{C}ollaborative \underline{L}earning (TOGCL) フレームワークを提案する。
TOGCLは、動的なユーザサービス呼び出しグラフを利用して、歴史的なインタラクションをモデル化し、ユーザサービス間の関係を包括的に表現する。
このグラフに基づいて、ターゲットユーザ/サービスとその隣人間の暗黙的な協調関係と関連する歴史的QoS値とを同時に考慮しながら、ユーザとサービスのオンラインの深い潜伏した特徴を各時間スライス時に抽出するターゲットプロンプトグラフアテンションネットワークを開発する。
さらに、ユーザやサービスの時間的特徴進化パターンを明らかにするために、多層トランスフォーマーエンコーダが使用され、時間的認識のQoS予測につながった。
WS-DREAMデータセットで実施された大規模な実験により、提案したTOGCLフレームワークは、複数のメトリクスにわたって最先端のメソッドを著しく上回り、最大38.80\%の改善が達成された。
これらの結果は、TOGCLフレームワークの正確な時間的QoS予測の有効性を裏付けるものである。
関連論文リスト
- Anomaly Resilient Temporal QoS Prediction using Hypergraph Convoluted Transformer Network [0.47248250311484113]
QoS(Quality-of-Service)予測は、サービスライフサイクルにおいて重要なタスクです。
従来の手法では、しばしばデータスパーシリティとコールドスタートの問題に遭遇する。
時間的予測のためのリアルタイム信頼対応フレームワークを導入する。
論文 参考訳（メタデータ） (2024-10-23T11:01:39Z) - Satellite Streaming Video QoE Prediction: A Real-World Subjective Database and Network-Level Prediction Models [59.061552498630874]
LIVE-Viasat Real-World Satellite QoE Databaseを紹介する。
このデータベースは、現実世界のストリーミングサービスから記録された179のビデオで構成されている。
本稿では,QoE予測モデルの有効性を評価することで,この新たな資源の有用性を実証する。
また、ネットワークパラメータを予測された人間の知覚スコアにマッピングする新しいモデルを作成しました。
論文 参考訳（メタデータ） (2024-10-17T18:22:50Z) - Web Service QoS Prediction via Extended Canonical Polyadic-based Tensor Network [2.2083091880368855]
Canonical Polyadic (CP)ベースのテンソルネットワークモデルは動的データの予測に効率的であることが証明されている。
現在のCPベースのテンソルネットワークモデルは、低次元の潜在特徴空間におけるユーザとサービスの相関を考慮していない。
本稿では,予測精度を向上させるために,拡張ポリエイドネットワーク(ECTN)モデルを提案する。
論文 参考訳（メタデータ） (2024-08-29T05:56:35Z) - GACL: Graph Attention Collaborative Learning for Temporal QoS Prediction [5.040979636805073]
時間的予測のための新しいグラフ協調学習(GACL)フレームワークを提案する。
動的ユーザサービスグラフ上に構築され、過去のインタラクションを包括的にモデル化する。
WS-DREAMデータセットの実験は、GACLが時間的予測のための最先端の手法を著しく上回っていることを示している。
論文 参考訳（メタデータ） (2024-08-20T05:38:47Z) - A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。
我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。
GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
論文 参考訳（メタデータ） (2024-06-19T22:30:08Z) - ARRQP: Anomaly Resilient Real-time QoS Prediction Framework with Graph
Convolution [0.16317061277456998]
我々は、データ内の異常に対するレジリエンスを改善することに焦点を当てたリアルタイム予測フレームワーク(ARRQP)を導入する。
ARRQPはコンテキスト情報と協調的な洞察を統合し、ユーザとサービスのインタラクションの包括的な理解を可能にする。
ベンチマークWS-DREAMデータセットの結果は、正確でタイムリーな予測を達成する上で、フレームワークの有効性を示している。
論文 参考訳（メタデータ） (2023-09-22T04:37:51Z) - TPMCF: Temporal QoS Prediction using Multi-Source Collaborative Features [0.5161531917413706]
時間的予測は、時間とともに適切なサービスを特定するために不可欠である。
近年の手法は, 様々な制約により, 所望の精度が得られなかった。
本稿では,マルチソース協調機能を用いた時間予測のためのスケーラブルな戦略を提案する。
論文 参考訳（メタデータ） (2023-03-30T06:49:53Z) - Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。
完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。
本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
論文 参考訳（メタデータ） (2022-09-20T14:41:37Z) - Ordinal Graph Gamma Belief Network for Social Recommender Systems [54.9487910312535]
我々は,階層型ベイズモデルであるオーディナルグラフファクター解析(OGFA)を開発し,ユーザ・イテムとユーザ・ユーザインタラクションを共同でモデル化する。
OGFAは、優れたレコメンデーションパフォーマンスを達成するだけでなく、代表ユーザの好みに応じた解釈可能な潜在因子も抽出する。
我々はOGFAを,マルチ確率層深層確率モデルであるオーディナルグラフガンマ信念ネットワークに拡張する。
論文 参考訳（メタデータ） (2022-09-12T09:19:22Z) - Topology-based Clusterwise Regression for User Segmentation and Demand
Forecasting [63.78344280962136]
本研究は,パブリックおよび新規な商用データ集合を用いて,アナリストがユーザベースをクラスタリングし,詳細なレベルで需要を計画できることを示す。
本研究は,TDAに基づく時系列クラスタリングと行列因数分解法によるクラスタ回帰を実践者にとって実行可能なツールとして導入することを目的とする。
論文 参考訳（メタデータ） (2020-09-08T12:10:10Z) - Tensor Graph Convolutional Networks for Multi-relational and Robust
Learning [74.05478502080658]
本稿では,テンソルで表されるグラフの集合に関連するデータから,スケーラブルな半教師付き学習(SSL)を実現するためのテンソルグラフ畳み込みネットワーク(TGCN)を提案する。
提案アーキテクチャは、標準的なGCNと比較して大幅に性能が向上し、最先端の敵攻撃に対処し、タンパク質間相互作用ネットワーク上でのSSL性能が著しく向上する。
論文 参考訳（メタデータ） (2020-03-15T02:33:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。