論文の概要: LLM-driven Knowledge Distillation for Dynamic Text-Attributed Graphs

• arxiv url: http://arxiv.org/abs/2502.10914v1
• Date: Sat, 15 Feb 2025 21:48:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:09:56.090889
• Title: LLM-driven Knowledge Distillation for Dynamic Text-Attributed Graphs
• Title（参考訳）: 動的テキスト分散グラフのためのLLM駆動の知識蒸留
• Authors: Amit Roy, Ning Yan, Masood Mortazavi,
• Abstract要約: Dynamic Text-Attributed Graphs (DyTAGs) には、ソーシャル、コラボレーション、引用、コミュニケーション、レビューネットワークなど、多くの現実世界のアプリケーションがある。 これらのネットワークでは、ノードとエッジはしばしばテキスト記述を含み、グラフ構造は時間とともに進化する。 将来のリンク予測、エッジ分類、関係生成、その他のDyTAG上の下流タスクは、構造情報、時間情報、テキスト情報をエンコードする強力な表現を必要とする。 動的テキスト分散グラフ (LKD4DyTAG) のための知識蒸留法を提案する。
• 参考スコア（独自算出の注目度）: 3.1897721055763024
• License:
• Abstract: Dynamic Text-Attributed Graphs (DyTAGs) have numerous real-world applications, e.g. social, collaboration, citation, communication, and review networks. In these networks, nodes and edges often contain text descriptions, and the graph structure can evolve over time. Future link prediction, edge classification, relation generation, and other downstream tasks on DyTAGs require powerful representations that encode structural, temporal, and textual information. Although graph neural networks (GNNs) excel at handling structured data, encoding temporal information within dynamic graphs remains a significant challenge. In this work, we propose LLM-driven Knowledge Distillation for Dynamic Text Attributed Graph (LKD4DyTAG) with temporal encoding to address these challenges. We use a simple, yet effective approach to encode temporal information in edges so that graph convolution can simultaneously capture both temporal and structural information in the hidden representations. To leverage LLM's text processing capabilities for learning richer representations on DyTAGs, we distill knowledge from LLM-driven edge representations (based on a neighborhood's text attributes) into saptio-temporal representations using a lightweight GNN model that encodes temporal and structural information. The objective of knowledge distillation enables the GNN to learn representations that more effectively encode the available structural, temporal, and textual information in DyTAG. We conducted extensive experimentation on six real-world DyTAG datasets to verify the effectiveness of our approach LKD4DyTAG for future link prediction and edge classification task. The results show that our approach significantly improves the performance of downstream tasks compared to the baseline models.
• Abstract（参考訳）: Dynamic Text-Attributed Graphs (DyTAGs) には、ソーシャル、コラボレーション、引用、コミュニケーション、レビューネットワークなど、多くの現実世界のアプリケーションがある。 これらのネットワークでは、ノードとエッジはしばしばテキスト記述を含み、グラフ構造は時間とともに進化する。 将来のリンク予測、エッジ分類、関係生成、その他のDyTAG上の下流タスクは、構造情報、時間情報、テキスト情報をエンコードする強力な表現を必要とする。 グラフニューラルネットワーク(GNN)は構造化データを扱う上で優れているが、動的グラフ内の時間情報の符号化は依然として大きな課題である。 本研究では,LKD4DyTAG(LKD4DyTAG)のためのLLM駆動型知識蒸留法を提案する。 グラフの畳み込みは、隠れた表現における時間的情報と構造的情報の両方を同時に捉えることができる。 LLMのテキスト処理能力を利用して、DyTAGのリッチな表現を学習するために、LLM駆動エッジ表現(近傍のテキスト属性に基づく)から、時間的および構造的情報を符号化した軽量GNNモデルを用いて、サプシオ時間的表現に知識を抽出する。 知識蒸留の目的は、GNNがDyTAGで利用可能な構造情報、時間情報、テキスト情報をより効果的にエンコードする表現を学習できるようにすることである。 我々は6つの実世界のDyTAGデータセットを広範囲に実験し、将来のリンク予測とエッジ分類タスクにおけるLKD4DyTAGの有効性を検証した。 その結果,本手法はベースラインモデルと比較してダウンストリームタスクの性能を著しく向上させることがわかった。

関連論文リスト

• Deep Semantic Graph Learning via LLM based Node Enhancement [5.312946761836463]
  大規模言語モデル(LLM)は、テキストセマンティクスを理解する上で優れた能力を示している。 本稿では,グラフトランスフォーマーアーキテクチャとLLM拡張ノード機能を組み合わせた新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-11T21:55:46Z)
• Web-Scale Visual Entity Recognition: An LLM-Driven Data Approach [56.55633052479446]
  Webスケールのビジュアルエンティティ認識は、クリーンで大規模なトレーニングデータがないため、重大な課題を呈している。 本稿では,ラベル検証,メタデータ生成,合理性説明に多モーダル大言語モデル(LLM)を活用することによって,そのようなデータセットをキュレートする新しい手法を提案する。 実験により、この自動キュレートされたデータに基づいてトレーニングされたモデルは、Webスケールの視覚的エンティティ認識タスクで最先端のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2024-10-31T06:55:24Z)
• All Against Some: Efficient Integration of Large Language Models for Message Passing in Graph Neural Networks [51.19110891434727]
  事前訓練された知識と強力なセマンティック理解能力を持つ大規模言語モデル(LLM)は、最近、視覚とテキストデータを使用してアプリケーションに恩恵をもたらす顕著な能力を示している。 E-LLaGNNは、グラフから限られたノード数を増やして、グラフ学習のメッセージパッシング手順を強化するオンデマンドLLMサービスを備えたフレームワークである。
  論文  参考訳（メタデータ） (2024-07-20T22:09:42Z)
• Multi-View Empowered Structural Graph Wordification for Language Models [12.22063024099311]
  本稿では,LLM-graphアライメントのためのエンドツーエンドのモダリティアライメントフレームワークについて紹介する。 提案手法は LLM とのトークンレベルアライメントを容易にするために設計されており,グラフの内在的' を理解可能な自然言語に効果的に翻訳することができる。 我々のフレームワークは、LLMとGNN間のトークンレベルのアライメントを実現するための、有望な試みである、ある視覚的解釈可能性、効率、堅牢性を保証する。
  論文  参考訳（メタデータ） (2024-06-19T16:43:56Z)
• DTGB: A Comprehensive Benchmark for Dynamic Text-Attributed Graphs [28.340416573162898]
  動的テキスト分散グラフ(DyTAG)は、様々な実世界のシナリオで一般的である。 幅広い適用性にもかかわらず、DyTAGに合わせたベンチマークデータセットは、顕著に不足している。 大規模な時間進化グラフのコレクションである動的テキスト分散グラフベンチマーク(DTGB)を導入する。
  論文  参考訳（メタデータ） (2024-06-17T20:16:12Z)
• Hierarchical Compression of Text-Rich Graphs via Large Language Models [63.75293588479027]
  テキストリッチグラフは、eコマースや学術グラフのようなデータマイニングの文脈で広く使われている。 本稿では,LLMの能力とテキストリッチグラフの構造を整合させる新しい手法であるHiComを紹介する。 HiComは、Eコマースと引用グラフのノード分類において、GNNとLLMのバックボーンよりも優れている。
  論文  参考訳（メタデータ） (2024-06-13T07:24:46Z)
• Parameter-Efficient Tuning Large Language Models for Graph Representation Learning [62.26278815157628]
  Graph-awareを導入します。 GPEFT - グラフ表現学習のための新しい手法。 グラフニューラルネットワーク(GNN)を用いて、隣接するノードからグラフプロンプトに構造情報をエンコードする。 我々は8つの異なるテキストリッチグラフで実施した総合的な実験を通じて,リンク予測評価において hit@1 と Mean Reciprocal Rank (MRR) の平均 2% の改善を観察し,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2024-04-28T18:36:59Z)
• Leveraging Large Language Models for Node Generation in Few-Shot Learning on Text-Attributed Graphs [5.587264586806575]
  本稿では,Large Language Models (LLMs) を用いたノード生成によるテキスト分散グラフの強化のためのプラグイン・アンド・プレイ手法を提案する。 LLMはラベルから意味情報を抽出し、模範としてカテゴリに属するサンプルを生成する。 エッジ予測器を用いて、生のデータセットに固有の構造情報をキャプチャし、新たに生成されたサンプルを元のグラフに統合する。
  論文  参考訳（メタデータ） (2023-10-15T16:04:28Z)
• Harnessing Explanations: LLM-to-LM Interpreter for Enhanced Text-Attributed Graph Representation Learning [51.90524745663737]
  重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。 提案手法は、確立されたTAGデータセットの最先端結果を実現する。 本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
  論文  参考訳（メタデータ） (2023-05-31T03:18:03Z)
• Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning [73.0598186896953]
  本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。 エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。 既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
  論文  参考訳（メタデータ） (2020-04-29T14:22:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。